您的位置:人工智能 > 大数据 > 新数据时代对海量数据的存储系统提出严苛要求

新数据时代对海量数据的存储系统提出严苛要求

【人工智能网】

北京2020年9月22日 /美通社/ -- 依据IDC报告,在2014-2020年,IT从业职员数目仅仅增进1.285倍,但均匀每一个IT职员治理的数据量从230GB增添到1231GB,凌驾5倍。而在将来两年,企业数据估计仍将以42.2%的速率增进。只管大多数企业以为数据是企业的无形资产,但是现在企业仅捕捉了56%的可用数据,险些一半的数据流失掉了,怎样扩大数据存储体系的容量成为企业面临的主要议题。

跟着大数据、人工智能、物联网、5G等科技手腕的不停推进,人们已走进数据互联的时期。在数据需求日渐猛烈的当下,边沿装备的工艺、精度越来越高,数据采样的体式格局逐步增添,发作的数据量也疾速增进,到2025年44%的数据将在边沿和中心建立,将有越来越多的物联网装备向企业运送数据。同时,基于数据发掘和伶俐运用,数据的生产者也不再只要人和装备,数据自身也介入到了生产数据的环节中来,成为了新的数据生产者,数据的发作进入一个庞大的轮回,数据总量呈指数级增进。

海潮存储产品线总经理李辉曾示意,“人工智能、大数据、5G新手艺驱动下,数据发作实质转变,从过去‘人工网络、人工干预’过渡到现在‘机械发作、机械处置惩罚’的新时期,数据量爆发式增进成为新常态。”据IDC展望,2020年环球将有超59ZB的数据被建立、捕捉、复制和花费,个中原始数据与复制数据(主要为机械处置惩罚发作的数据)的比率大约为1:9,将来复制数据将推进环球数据的增进,估计到2024年复制数据将到达原始数据的10倍。

这些数据泉源普遍,它对存储有什么请求?IT职员怎样治理这些迅猛增进的数据呢?

新数据时期对海量数据的存储体系提出严苛请求

其一,高密度、大容量、可扩大。数据的爆发式增进和保留周期的延伸,带来了对存储空间的直接需求。传统的存储架构已没法处理云云大数据量的存储空间问题。须要一套具有EB级扩大性、支持千亿级文件并支持多种效劳接口的新型存储体系,满足海量、多元化数据存储的同时,完成跨平台无障碍对接。

其二,高牢靠、高可用。存储体系承担着用户的中心数据,与营业体系交互频仍,一旦出毛病,将直接影响营业体系的运转状况,以至激发数据完整性、平安性问题。而大规模存储体系,硬件毛病将成为常态,对存储集群的负载平衡,数据冗余,体系重建和毛病消除都有着较高请求,怎样有用的防止毛病和高效的治理、处置惩罚毛病就显得尤为主要。

海潮分布式存储应运而生

面临应战,海潮存储提出“云存智用运筹新数据”的理念,并宣布了“AS13000G5超大规模数据中心级分布式存储平台”,协助用户处理海量数据的存储问题,为用户的数据中心打造面向将来的存储平台。

起首,海潮分布式存储体系基于Scale Out架构完成了容量极致扩大。海潮分布式存储体系AS13000G5,经由过程Scale Out横向扩大的基本架构,完成单存储体系节点扩大数达5120个,可构成EB级海量存储空间,支持千亿数据文件治理。体系经由过程海量存储体系对底层硬盘资本举行池化,构成一致资本池,同时供应文件存储、对象存储、块存储、大数据四种存储效劳,支持上层多种运用,承载多元化的海量数据。依靠横向扩大的分布式存储架构,存储机能随容量扩大而线性提拔,从而到达万万级IOPS和百GB带宽的极致机能。

其次,海潮分布式存储依托多项高等功用优化容量资本利用率。依托壮大的研发气力,海潮AS13000G5分布式存储在研发过程当中完成多项手艺打破,并演进迭代成为功用特征,进一步提拔大规模存储集群的团体可用性、牢靠性。

一是高等纠删。海潮存储基于高等纠删手艺将空间利用率相较三副本提拔2倍以上,在保证空间利用率的前提下,升级磁盘毛病的牢靠性。同时,支持经由过程毛病域分别手艺将一个毛病单位分别成两个逻辑的毛病单位,使得纠删战略的设置越发天真;

二是数据平衡。海潮存储采纳全局一致性容量平衡手艺,经由过程为每一个硬盘增添援用计数,保证数据在集群一切硬盘中均匀分布。掌握硬盘容量使用率误差在2%之内,体系容量现实利用率最高可达98%;

三是急速拷贝。海潮存储基于急速拷贝手艺,不管文件大小都能够霎时完成拷贝操纵,一个源文件能够拷贝成多个目的文件,每一个文件的数据只在修改时复制,勤俭空间;

四是元数据集群。海潮存储经由过程布置多个active元数据效劳,优化元数据效劳的内存占用及多效劳间负载平衡,进步元数据并发处置惩罚才能。完成海量元数据治理的同时,提拔元数据处置惩罚机能;

五是疾速重构。海潮存储在硬盘发作毛病时数据重构速率最快可达4TB/h,支持依据营业状况设置重构速率,采纳合理的重构战略。

极致容量下的极易治理

存储集群在大规模布置的状况下,运维的量级和难度对用户来讲都是极大的应战。海潮智能一致存储治理平台InView面向全系海潮存储平台完成治理,采纳大数据和AI手艺网络硬盘、体系压力等数据,发送给AI引擎实行剖析,输出效果和处置惩罚发起,构建智能化运维治理平台,完成对存储平台自动化布置、状况监测、容量展望、机能优化、长途巡检、毛病诊断、磁盘毛病展望、资产治理等智能化运营,处理大规模IT体系运维困难,进步运维效力,下降运维本钱,优化用户体验,保证营业连续性。

经由过程设置InView,体系运维由被动形式转换为主动形式,大幅提拔体系运维才能和稳定性。为用户带来看得见的收益,比方多套存储平台一致治理、一致进口,完成存储平台邃密治理;又如基于神经网络算法和先进练习模子,在3年多时间内网络超50万个硬盘样本,完成毛病范例100%掩盖,再如完成14天内磁盘毛病展望展望准确率高于85%。另外,海潮存储还能够举行容量、机能智能展望。比方,InView的容量智能展望如下图。

上一篇:多模数据库驱动下,助力AI逼近“人类智能”
下一篇:没有了

您可能喜欢