至顶网计算频道 08月12日 新闻消息(文/李祥敬):数字经济浪潮下,各行各业都会产生大量数据。特别是5G、大型数据中心、大数据、工业互联网等新基建将带来更大的数据洪流,企业对于数据价值的关注度正在不断增加。根据IDC预计,全球年新增数据量2025年将达到175ZB,我们将进入ZB级数据存储时代。
海量数据存储的需求下,企业也在面临着日益严峻的挑战,存储容量增大导致了企业的存储成本快速上升,数据流失和数据管理混乱的问题也逐渐被暴露。为此,UCloud正式发布新一代归档存储产品,在保证高可靠性的基础上,为用户提供了业界最低价格的归档存储解决方案,帮助更多企业存储数据资产,留住更多值得挖掘的数字财富。
根据研究机构调研,预计到2025年,全球数据总量将达到175ZB,但真正能够存储下来的数据仅有15ZB左右,将会有160ZB的数据流失,流失率超过91%。
UCloud优刻得存储平台研发总监吴斌炜告诉记者,数据本身是存在温度的,比如最热的实时图片、音视频数据通常会通过CDN分发,在短时间内被大量外部用户访问;操作日志、数据库备份的访问量则在数据生成时就不大。随着时间的推移,各类数据的访问量都会产生由热至温,由温至冷的转变。UCloud还针对存储在UFile对象存储中的各类文件,按不同种类进行请求次数的统计,形成公有云数据冷热示意图。
正是由于数据存在这样由热至冷的变化特征,企业通常使用超高性能的本地存储,结合计算节点本地内存、NVMe等新一代高速存储介质,来提升本地数据的处理效率;高性能IO型存储通常作为对外数据交换的渠道,能够适用于流媒体网站、大数据分析、移动应用、游戏等场景的数据读写;低频存储则可为各类物联网数据采集,业务日志等场景提供长期有效的存储空间,同时支持数据的实时访问;归档存储适合于长期合规性存储、医疗科学资料、备份等场景的使用,数据非实时读取,但能够降低存储成本。
“存储分层已然是大势所趋。在目前企业数据的冰山模型里,80%的数据量来源于冷数据,也正因如此,UCloud着眼于企业在云计算、人工智能、数据分析、归档、备份场景中产生的大量冷数据存储场景,致力为用户提供更优质的存储服务。”吴斌炜说。
我们知道归档存储相较于其他存储,最大的优势就是成本更低。UCloud新一代归档存储产品属于对象存储的大类下面,采用UCloud全新自研存储架构,相较标准存储降低近80%的存储成本,价格低至0.024元/GB/月,与市场同类归档存储产品相比降低近30%成本,为用户提供最低价格的归档存储解决方案。
UCloud优刻得存储平台资深研发工程师方然表示,基于云计算模式的数据存储是大势所趋。公有云上的存储成本主要由硬件成本及运营成本构成,硬件成本就是设备成本,而运营成本是存储服务上线运营期间的成本。所以,UCloud新一代归档存储产品也是从这两个方面进行创新,降低存储成本。
为了降低硬件成本,UCloud新一代归档存储在国内首次采用了西部数据的高密JBOD机型和SMR盘,并首次利用自研存储架构实现该技术落地,在保证长期数据持久存储的可靠性同时,大幅缩减存储成本,让客户能够保存更多有价值的历史数据;仅需要花原本标准存储20%的费用,企业就能够将大量数据进行长期的存档备份。
方然说,SMR盘全名为叠瓦式磁记录硬盘,相较于传统CMR磁盘,SMR磁盘最大的区别是,它的磁道是按Zone呈现的叠瓦式分布,这种分布带来的好处是可以更高密度的存储数据。与36盘传统机型相比,采用高密机型SMR盘后,单位机架的存储容量提升5.375倍,磁盘数量增加59%,单块磁盘存储空间提升150%。
UCloud在新一代归档存储中,基于多年公有云分布式存储经验积累,采用新一代自研归档存储架构,使产品可以兼容SMR、CMR盘、双活高可用、支持上下电的IO调度、EC的灵活配置和磁盘故障自动化发现;充分利用高密机型SMR盘的硬件优势,并采用自研架构降低硬件成本。
“在我们的全新归档存储架构中,我们的存储层对下屏蔽了具体的磁盘种类,封装成了以Zone为单位的存储结构,对外展示为我们的Blob层,提供以Blob为单位的创建、删除,追加写、随机读等操作。并且支持灵活的EC配比,支持磁盘上下电的IO调度系统,支持磁盘故障的自动化发现并以Zone为单位进行修复。通过这一套归档存储框架,我们可以充分利用前面说到的高密机型SMR盘等硬件设备,在硬件成本中提升存储成本的占比。”方然说。
在降低硬件成本的基础上,UCloud新一代归档存储,采用软硬件协同的理念,降低运营成本。在运营成本中,设备电费占大头。结合硬件的选型,UCloud新一代归档存储在软件层面上,自主研发了一套磁盘上下电调度系统,可以保障磁盘寿命的同时,极大降低电费成本,使磁盘能耗降低近90%, 在纯写入场景下,耗能磁盘块数为原有的5%。
UCloud在设计IO调度算法的时候,主要考虑以下两个方面:一个是磁盘本身对于上下电行为的寿命,保证磁盘在其寿命范围内上下电的频率不超过一定的数量;另外一个就是在目前这种超高密度的架构下,系统的最优网络存储配比,充分发挥所有的硬件性能能力而不会受到IO调度的影响。
在可靠性方面,UCloud新一代归档存储实现了存储节点双机头可见,在发生故障时,可以快速自动切换;通过采用大比例可灵活配置的EC,提高存储利用率150%;通过硬件加速,使EC计算相较于传统的纯软件计算,提升4-5倍吞吐。新一代归档存储还实现了全链路的CRC校验,来全面保障用户数据的安全性。
方然表示,UCloud新一代归档存储在协议支持方面进行了兼容,与企业的业务系统进行适配,方便企业将数据进行迁移备份。总之,UCloud新一代归档存储产品保证99.9%以上可的用性冗余策略,与标准存储相同的99.999999999%数据持久性,但是0.024元/GB/月相较标准存储降低近80%的存储成本,突破价格极限,为客户达到极致成本的追求以及数据可靠性的保障。
UCloud新一代归档存储可广泛的应用在多媒体归档场景、历史数据合规性场景、以及大数据/AI分析数据归档等场景中,随着5G到来,数据量的爆发,还将在更多行业、更多场景中得到应用,可以说,这是一款面向未来的产品。
多媒体归档场景
目前高清摄像头逐渐普及,现在1080P的高清视频存储一天需要45G的存储容量,互动直播类平台也都已支持高清直播,往往在视频、直播场景中,每天产生的数据量就要达到数TB之多,数据一旦产生并发写入,对写入带宽的要求很高。
尤其是广电行业通常采用蓝光、磁带库作为历史影像资料的永久存储空间,建设成本一直居高不下,且经常升级。此外,在目前广电媒资行业向互联网转型的场景中,磁带和蓝光库的数据取回实时性无法得到保证,通常还需要人工干预,不但视频取回周期长,本地化运维的压力也是相当大。
在多媒体数据归档场景,UCloud新一代归档存储不仅能提供广电媒资行业不亚于蓝光、磁带等传统介质的安全可靠性,降低运维难度;还能面向视频、直播等场景,提供准实时的视频查询、激活、在线回看能力,为用户提供廉价的历史视频存储,延长视频影像资料的存储时间。
UCloud新一代归档存储将离线存储变为近线存储,通过灵活的API激活、调用命令,即可完成数据的调取,大幅度提升数据的取回速度;并采用纠删码冗余策略来保障数据安全可靠。结合UCloud对象存储不同存储类型间的生命周期转换功能,用户还可快速实现数据由热至温再到冷的存储类型转换,完成自动化的数据生命周期管理。
历史数据合规存储
在历史数据的合规性场景中,归档存储在提供文件类备份的同时,也提供了数据库、审计日志的备份对接方案,可以帮助用户进行定期的数据库、日志备份归档。
面对日益上涨的企业数据库备份场景,UCloud提供的数据库备份方案能够有效帮助用户缩减备份流程,降低备份成本,有效提升用户体验。针对需要定时清理备份、缩减备份成本的用户,UCloud对象存储支持生命周期功能。通过控制台指定生命周期规则,用户可以实现自动化的定期清理、定期转入归档存储。
针对需要更高安全级别的用户,UCloud对象存储同时可支持跨区域复制功能,帮助用户在上传数据库备份的同时,完成数据的异地备份。
在电商平台的日志归档场景中,UCloud对象存储还提供了ElasticSearch的接入功能,当日志数据量增大后,平台采取对历史日志进行统一归档至归档存储的方式,以降低存储成本。由于UCloud对象存储支持直接对接ES,便于平台直接将历史日志迁移至更廉价的存储中。
大数据、AI分析数据归档
根据研究机构提供的数据,2020年生物经济规模已达15亿美元。拿肿瘤疾病的基因测序为例,单个患者的DNA样本数据能达到560GB,如果按照每年1800多万的癌症病例来计算,使用基因分析技术后,每年就会产生10PB的肿瘤基因样本数据。
目前基因分析技术在56个医疗科学大类中都存在实际的应用场景,未来将会有更大规模的生物信息数据需要被长期存放。除了生物信息数据,医疗行业中还有更多的LIS、PACS影像数据需要长期归档,仅一家三甲医院每年的影像数据就有20TB左右,全国3万多家医院的数据量,也将会是个非常庞大的数据。
UCloud归档存储能够为大量的生物信息、IoT实时分析数据等场景提供长期归档存储,为未来的医疗研究储备数据资料。
当前,数字经济蓬勃发展,新技术与新场景不断融合,如在线教育、云游戏、自动驾驶、智慧社区、智能制造等,共同推动了数据的爆炸性发展。UCloud新一代归档存储,面向未来的数据分层存储场景,采用全新的自研存储架构,降低用户的硬件成本和运营成本,让用户以更低的价格、更可靠的方式存储数据资产,为未来挖掘数据生产要素的价值积累财富。
好文章,需要你的鼓励
临近年底,苹果公布了2024年App Store热门应用和游戏榜单,Temu再次成为美国下载量最多的免费应用。
云基础设施市场现在已经非常庞大,很难再有大的变化。但是,因为人们可以轻松地关闭服务器、存储和网络——就像开启它们那样,预测全球云基础设施开支可能非常困难。