集中存储和分布式存储优缺点

集中式存储系统的优缺点:

集中式系统指由一台或多台主计算机组成中心节点,数据集中存储于这个中心节点,并且整个系统的所有业务单元都集中部署在这个中心节点上,系统所有的功能均由其集中处理。也就是说,集中式系统中,每个终端或客户端仅仅负责数据的录入和输出,数据的存储与控制处理完全交由主机来完成。存储设备集中在一起管理,由单一存储甚至是几个大型存储设备,分配存储资源给众多服务器使用,资源隔离细粒度有限。

架构:

优点:

  • 部署结构简单,往往基于底层性能卓越的大型主机;
  • 拥有独立的控制设备,因此具有很强的处理能力,不仅可以实现单个磁盘设备中的RAID,卷管理,而且可以实现存储虚拟化、快照和文件系统等复杂功能;
  • 可扩展性强,可以将所有盘柜组和后端互连网络连接在一起,这样可以共享所有盘柜组;
  • 高一致性和高可靠性:计算、存储都在一套硬件体系内,无需面对网络分区(网络无法连接)问题,能很容易实现高一致性,并通过存储的冗余和软硬件结合的高度优化,达到了较高的可靠性。

 

缺点:

  • 造价昂贵,无法做到按需扩展;
  • 架构复杂,故障排查难度大;
  • 存储I/O存在瓶颈;
  • 管理计算和存储需要团队掌握不同的工具和技能;
  • 建设周期长,无法快速供给。

 

应用领域:

行业 应用
  广电   非线性编辑 、播出系统、 小型媒资管理系统 、IPTV
  安防   平安城市、智慧城市、交警卡口 、执法仪数据集中存储
  渲染   动漫渲染系统、影视后期制作
  医疗   PACS系统
  政府   内部文档管理
  教育   校园云、课件共享

 

典型应用:

应用场景 客户需求 解决方案
存储数据迁移 – 老旧存储无法满足应用需求,需要更换新存储方可解决。
– 存储设备替换涉及数据迁移动作,传统迁移方法需要中断业务,且迁移效率低。
– 老旧设备被淘汰,难以利旧。
– 机器透明接管原有阵列的数据卷,实现业务不停机状态下的 从原卷到新卷的数据复制。
– 数据迁移完成后的老旧存储可重新规划用于边缘业务,实现设备有效利旧并可通过软件平台进行统一管理规划。
双活容灾数据中心 – 单个数据中心无法规避因掉电、火灾等意外,或是其他自 然灾害等带来的数据丢失和业务中断风险。
– 容灾数据同步效率低下,无法保证更精细化的数据一致性。
– 主备容灾,业务切换时间长、流程复杂。
– 主中心和备中心构建双活存储方案实现两个数据中心的存储完全同步,数据0丢失。
– 自动感应设备故障,业务秒级自动切换。
数据库虚拟化 – 高并发、低延迟业务场景下对于存储的高性能需求。
– 数据增长速度快,存储扩展性要求高。
– 对存储要高可靠性要求高。
– 配SSD硬盘或者10KHDD盘。
– 配置四层数据分层+SSD
– 配置SSD缓存加速。
– 配置快照,卷镜像,容灾,双活等高级软件。

 

典型案例:

  • 性价比高,应用广泛:在统一平台上实现多种协议的接入,无需额外设备,减少客户的初始拥有成本;提供多种存储解决方案,同时满足用户数据集中存储以及文件共享的需求。
  • 大容量,低成本:支持扩展多种盘位的扩展柜,满足用户后期扩容需求;支持高密度扩展柜,支持监控级硬盘,有效降低采购成本。
  • 高效部署,简易管理:可无缝接入用户网络环境,不影响客户现有应用;直观的中文图形用户管理界面,具备强大的管理功能。

 

分布式存储系统优缺点:

分布式存储系统是一个为海量数据共享而设计的集群。分布式存储系统是一个为海量数据共享而设计的集群。存储系统由工业标准的通用硬件和软件构成,为前端的应用服务器提供一 个标准的共享文件系统,所有应用服务器可以同时看到一份数据,即统一海量的虚拟存储池,并可以进行相应操作。

 

分类

分布式文件系统(Distributed File System:指文件系统管理的物理存储资源不一定直接连接在本地节点上,而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。

 

分布式对象存储(Object-based Storage DeviceOSD):总体上来讲,对象存储同兼具SAN高速直接访问磁盘特点及NAS的分布式共享特点。核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设备构建存储系统,每个对象存储设备具有一定的智能,能够自动管理其上的数据分布。

 

分布式块存储(Distributed block storage):块存储主要是将裸磁盘空间整个映射给主机使用的,就是说把磁盘阵列里面的硬盘通过划逻辑盘、做Raid、或者LVM(逻辑卷)等种种方式逻辑划分出N个逻辑的硬盘。此种方式下,操作系统还需要对挂载的裸硬盘进行分区、格式化后,才能使用,与平常主机内置硬盘的方式完全无异。

 

架构:

优点:

  • 采用本地I/O路径,路径更短,延迟更低;
  • 数据分散在不同服务器上形成冗余级数据保护,避免计算和存储资源孤岛;
  • 解决了单点故障(SPOF);
  • 业务负载分布式存储,消除资源瓶颈;
  • 按需建设、横向扩展;
  • 随着业务和数据增长仍保持高效的性能;
  • 架构简单、扩展性极强,易于管理,自动化程度高;
  • 标准X86服务器和磁盘组成,低成本,采购周期短。

 

缺点:

  • 需要高速低延迟网络环境;
  • 需要至少2个存储节点组成;
  • 要有一定的运维能力和自动化程度的环境。

分布式存储架构设计核心原则:分布式、无共享架构;全冗余可靠性设计;块存储优化;自动化管理运维。

 

应用领域

 

行业 应用
  广电   非线性编辑 、播出系统、 OTT新媒体业务、 媒资管理系统 、IPTV 、CDN
  金融   证券 、保险、银行的开户 、保单、事后监督系统
  运营商   移动、电信、联通的中间业务系统
  安防   平安城市、智慧城市、交警卡口 、执法仪数据集中存储
  渲染   动漫渲染系统、渲染农场、影视后期制作
  医疗   PACS系统、电子病历、手术影像
  大数据分析   车牌识别、人脸识别
  教育   校园云

 

安防业务:视频监控、交警卡口、执法记录仪等安防应用是存储消耗大户,PB级的需求随处可见。安防业务对于性能、功能、业务连续性和成本都有较高的要求。分布式存储的图像存储加速算法、全平台(Windows、Linux)客户端加速引擎、无副本环境下的业务连续性等技术,不仅可以满足高带宽读写的需要,还能在控制成本的前提下比竞争对手提供更高的数据保障。尤其是无副本环境下的业务连续性等技术,在不采用节点冗余技术的情况下,可以保障视频数据在节点故障之后能够持续写入,提供了迄今为止安防行业性价比最高的分布式存储解决方案。

 

医疗PACS业务:随着医疗技术的飞速发展,PACS系统已经成为每个医院的标配。分布式存储能为PACS系统提供更快的访问速度,减少医生读片的等待时间。它还能让影像数据可靠保存数年之久,为医学科研、病例分析等业务提供更为完善的数据保障服务。

 

广电类业务:凭借对于视频文件存储的充分优化、优异的并发读写性能(尤其是读性能)以及系统的高可靠性,分布式存储广泛适用于传统广电类和新型互联网视频类业务,包括电视台和影视制作公司的非线性编辑、节目管理,以及广电网络和互联网视频提供商的VOD点播、媒资管理、直播和时移回看等业务场景。

 

渲染业务:大规模渲染(比如渲染农场)对于共享存储的并发读写有着非常高的要求,渲染时间过长的罪魁祸首往往是存储系统所导致。分布式存储在读写方面做了大量的针对性优化,无论是大文件还是小文件,都能通过这些优化算法获得更快的访问速度。这些技术极大地提升整体渲染速度,保障按时按质完成相关任务。此外,分布式存储的高可用性,可以确保大规模长时间的渲染任务不中断运行。

 

典型案例:

  • 网络方案设计充分考虑到了计算节点、存储节点、网络交换机的性能参数,在保证了系统稳定的前提下,使每台设备都能得到最大限度的利用。
  • 系统配置高性能、可扩展的并行存储系统,并提供大容量存储,能够实现全局文件的统一访问和并发读写。
  • 主要产品都采用了冗余设计(电源、风扇等),存储系统采用冗余设计,系统的可靠性有较高保证。

 

AMD GPU 深度学习测试

登录地址:ssh lifc@chuangchi.tpddns.cn 8084

登录密码: lifc

系统version:Ubuntu-18.04.1.0-server

内核version:Linux version 4.15.0-48

ROCm version:  2.3.14

TensorFlow version: 1.13

硬件:E5-2630/16G/160G sata HDD/

GPU: AMD WX8200 *2

技术支持: zzj@chuangchi.cn  QQ群:693908432

 

1.图片识别:

cd ~ && git clone https://github.com/tensorflow/models.git   下载图片识别库

cd ~/models/tutorials/image/imagenet                                          进入图片识别库

python3 classify_image.py                                                                  执行识别

After, you should see a list of labels with associated scores. Since the above script is for classifying a supplied image of a panda, that’s what the result indicates:

giant panda, panda, panda bear, coon bear, Ailuropoda melanoleuca (score = 0.89103)
indri, indris, Indri indri, Indri brevicaudatus (score = 0.00810)
lesser panda, red panda, panda, bear cat, cat bear, Ailurus fulgens (score = 0.00258)
custard apple (score = 0.00149)
earthstar (score = 0.00141)

2.语音识别

cd ~ && git clone https://github.com/tensorflow/tensorflow.git  下载语音识别库

cd ~/tensorflow                                                                                         进入语音识别库

python3 tensorflow/examples/speech_commands/train.py      执行默认设置

高百分比运算过程如下:

After running for a few hours with default settings, you’ll see the accuracy trending toward high percentages:

[...]
INFO:tensorflow:Step 18000: Validation accuracy = 88.7% (N=3093)
INFO:tensorflow:Saving to "/tmp/speech_commands_train/conv.ckpt-18000"
INFO:tensorflow:set_size=3081
INFO:tensorflow:Confusion Matrix:
[[254   2   0   0   0   1   0   0   0   0   0   0]
[  3 195   5   5  11   8   4   5   7   0   4  10]
[  0   4 239   0   1   1   9   1   0   0   1   0]
[  0   5   0 220   1   7   2   4   0   1   1  11]
[  1   1   0   0 258   0   4   0   0   2   4   2]
[  2   5   0  15   1 211   2   0   2   0   2  13]
[  1   2  15   0   6   0 240   2   0   0   1   0]
[  1  13   0   0   3   0   2 237   0   1   2   0]
[  0   5   1   0   2   1   1   3 231   2   0   0]
[  0   3   0   0  21   1   3   3   5 225   1   0]
[  0   0   1   1   8   1   3   0   0   2 232   1]
[  0  14   0  34   6   5   5   2   0   1   0 184]]
INFO:tensorflow:Final test accuracy = 88.5% (N=3081)

To test the trained model, try this:

python3 tensorflow/examples/speech_commands/freeze.py \–start_checkpoint=/tmp/speech_commands_train/conv.ckpt-18000 \–output_file=/tmp/my_frozen_graph.pb

python3 tensorflow/examples/speech_commands/label_wav.py –graph=/tmp/my_frozen_graph.pb –labels=/tmp/speech_commands_train/conv_labels.txt –wav=/tmp/speech_dataset/left/a5d485dc_nohash_0.wav

And you’ll see the ‘left’ label having the highest score for this particular .wav file:

left (score = 0.74686)
right (score = 0.12304)
unknown (score = 0.10759)