从技术入围走向商业突围 分布式存储逐步进入核心关键应用

图片

曾经的存储市场,是集中式存储的天下,主要的应用需求,也大都是核心数据库、虚拟化整合一类,数据量并不十分庞大,却要求极致IOPS和时延性能的应用。

而曾经的分布式存储呢?对不起,那个是高性能计算才用到的……至于NAS(网络附属存储),大概就是一个存放图片和视频的文件服务器吧……

分布式存储的崛起

但是当我们观察近年来的存储市场数据,我们会发现,SDS软件定义存储市场增长率远超过TESS传统存储。

IDC数据显示,SDS市场占比从2018年H1的8.5%提高到2020H2的21.6%;与此同时,传统集中式存储的市场份额从79%下降到了59.8%。IDC预计2021-2025年SDS市场的复合增长率将达到23.4%,2025年市场空间将达到325亿。

分布式存储市场增长的动力主要来源于数字化转型的深入,以及随之带来的数据爆炸式增长。IDC数据显示,到2025年,全球数据总量将激增至175ZB,其中85%都是非结构化数据。

但分布式存储的快速增长,仅仅是因为非结构化数据的容量增长吗?

重新定义核心关键应用

着数字化转型深入,我们会发现经常提到的“核心关键应用”,在今天有了全新的定义。

5G、人工智能、自动驾驶、基因测序、芯片EDA等非结构化数据的实时处理应用不断涌现,并且在企业业务中处于日益关键的位置,同样成为企业的“核心关键应用”,同时也对分布式存储提出了新的需求:

图片

极致的大集群高带宽:

尤其是面对来自自动驾驶、AI 、广电8K超高清等边写边读的大性能需求,传统架构往往力不从心

图片

快速的海量小文件处理效能:

尤其面对来自金融、医疗的4K~8K的海量小文件,传统架构经常会成为瓶颈

图片

新型块存储需求:

传统架构的高时延显然也无法解决核心业务的高标准要求,差距往往在一个数量级

图片

存储协议兼容的需求:

随着业务变化频率的增加,存储的协议兼容、协议转换必须更加灵活,单纯的仅支持一种服务一种协议,已难以满足业务的变革需求

分布式存储的进化

这四个需求,是摆在传统架构的分布式存储面前的四座大山。而其中海量小文件性能和时延这两个问题尤其凸出,几乎挡死了分布式存储走向核心应用的道路,为了解决这些问题,紫光股份旗下新华三集团提出了解决之道:SCM+NVMe全新架构!

  1. 掉电也不会丢失数据的SCM可以大大缓解海量小文件写入的性能问题,实现手段是通过将诸多4K、8K、16K等海量小文件打包整合成大文件的方式,将整合完成的大文件再顺序落盘,大大提升了小文件性能。

  2. 而解决IOPS和时延的问题,主要靠的则是NVMe介质的力量,结合软件上的全面优化,可以跨越式的进一步降低读写IO的时延。


新华三明星产品:X10828

为了应对用户对更高性能的要求,新华三集团推出了国内首个NVMe+SCM分布式全闪产品——X10828。

  1. 在软件上,X10828延续了X10000存储融合架构的特点,支持块、文件、对象、大数据等存储方式,可同时提供iSCSI、NFS、CIFS、HDFS、S3等存储协议和容器CSI接口。

  2. 在硬件上,X10000在2U的空间内支持28块NVMe SSD盘,实现业内领先的容量密度,并通过SCM存储级内存的读写加速,充分发挥NVMe协议的高性能,X10828还支持100Gb IB高速组网,进一步降低了数据读写时延。

X10828拥有快、全、强三个特点。

快:X10828是国内首款分布式全闪节点,通过NVMe+SCM的独特架构,基于分布式应用场景提供了极致的应用性能。

全:X10000用统一的存储平台支撑了五合一的融合架构,提供丰富的存储协议,支持各类应用接口,硬件上也兼容Intel以及其他类型的CPU,满足不同行业用户的选型要求。

强:为了节省仍然昂贵的SSD资源,X10000支持全局的IO级重复数据删除和数据压缩,对块、文件、对象全场景适用,提供了强大的数据效率,进一步帮助用户降低硬盘采购容量和TCO成本。


结语

未来大数据构建的社会下,面对海量数据对高性能的新要求,全闪型分布式存储必将大放异彩。新华三集团推出的云智原生分布式全闪存储X10828所具有的“快、全、强”,每一个能力都在为海量数据的极致存储出发,为数据保驾护航,为科技发展保驾护航!