数字时代,数据共享互通成为刚需
数字经济时代,云计算、大数据、人工智能等新技术快速发展,非结构化数据爆发式增长,数据类型变得愈发复杂多样。在自动驾驶、基因测序、气象预报等云数智应用场景中,一次数据处理可能会涉及到文件、对象、大数据等多种协议,数据间的互通转换成为数据存储中至关重要的一环,具备平台化能力的融合存储成为数字基础设施建设的核心。
以基因测序场景为例,一次完整的基因测序涉及到数据采集、格式化、脱敏、压缩、分析、发布等操作,其过程可以大致分为样本采集、DNA/RNA测序、数据分析和发布四个步骤。在不同的处理阶段,需要使用不同的数据协议进行操作。其中在样本采集和DNA/RNA测序阶段采用NFS文件协议,数据分析阶段采用HDFS大数据协议,数据发布阶段则是通过公网数据共享采用S3对象协议。整个数据处理过程涉及三种协议格式,这就意味着完成一次基因的测序流程需要在NFS、HDFS和S3之间进行两次数据拷贝和数据格式的转换。传统存储仅支持单一的访问协议,这就会造成两个问题:一是数据格式转换和数据拷贝会降低整个数据处理流程的效率;二是多套存储副本增加存储空间成本。
基因测序应用需要使用多种数据协议
百川入海:浪潮基于一套存储 承载多样化数据
浪潮分布式存储平台AS13000基于对非结构化数据协议(NFS/CIFS/HDFS/S3)融合互通的研究进行技术创新,采用统一的数据管理和元数据管理、统一的增值特性服务、统一的分布式存储资源池和统一的管理软件系统,保证各种协议共享同一份数据和元数据。访问过程中无需数据转换和拷贝,并且为每种协议提供原生语义服务,每种服务均可直接访问,无需安装网关、插件或在计算侧或应用层进行改造。
AS13000非结构化数据融合架构
基于“多合一”极简架构,浪潮分布式存储得以实现四个“统一”。
首先,提供统一的数据管理和元数据管理。
数据管理和元数据管理是非结构化数据存储的关键,浪潮分布式存储平台AS13000根据NFS、CIFS、HDFS和S3的语义和元数据特点,抽象各协议的数据和元数据操作,通过一套统一的非结构化数据和元数据管理架构有效地保证各协议的原生访问。
其次,提供统一的增值特性服务。
基于统一的数据访问接口和元数据管理的架构设计,浪潮AS13000对外提供统一的增值特性服务,包括统一配额、QoS、加密、压缩、快照、回收站、分级存储、远程复制、元数据检索等等。
以下图为例:同一个元数据检索服务ElasticSearch支持NFS、CIFS、S3、HDFS多种协议,并且各协议为同一配置入口和查询入口。
统一增值特性示例:元数据检索服务
再次,构建统一的分布式存储资源池。
AS13000支持NFS/CIFS/HDFS/S3等多种服务协议共享非结构化存储资源池,并且同一个文件不同协议访问的数据和元数据为同一份。例如,通过文件NFS协议写入的一个文件,通过对象存储AWS S3协议、大数据HDFS协议和文件CIFS协议均可读取;每个节点都可以启动文件NAS、大数据HDFS和对象存储S3服务。
最后,打造统一的管理系统。
管理软件负责集群的安装、部署、业务配置、设备管理、监控、告警等功能。浪潮分布式存储平台AS13000打造了融合互通的管理系统,可同时支持NFS/CIFS/HDFS/S3等多种服务协议,增值特性通过统一的配置入口对所有非结构化存储协议同时生效,减少了企业的管理成本。
浪潮分布式存储平台AS13000通过多年来的持续技术创新,以一份数据支持多种协议访问,实现了非结构化数据融合互通,在提升数据处理效率的同时降低了存储购置和运维成本,保障各协议的语义无损和性能无损,构筑了面向“云数智”应用的融合存储平台,助力企业数字化转型,加速释放数据价值。
好文章,需要你的鼓励
Gartner预测,到2030年所有IT工作都将涉及AI技术的使用,这与目前81%的IT工作不使用AI形成鲜明对比。届时25%的IT工作将完全由机器人执行,75%由人类在AI辅助下完成。尽管AI将取代部分入门级IT职位,但Gartner认为不会出现大规模失业潮,目前仅1%的失业由AI造成。研究显示65%的公司在AI投资上亏损,而世界经济论坛预计AI到2030年创造的就业机会将比消除的多7800万个。
CORA是微软研究院与谷歌研究团队联合开发的突破性AI视觉模型,发表于2023年CVPR会议。它通过创新的"区域提示"和"锚点预匹配"技术,成功解决了计算机视觉领域的一大挑战——开放词汇目标检测。CORA能够识别训练数据中从未出现过的物体类别,就像人类能够举一反三一样。在LVIS数据集测试中,CORA的性能比现有最佳方法提高了4.6个百分点,尤其在稀有类别识别上表现突出。这一技术有望广泛应用于自动驾驶、零售、安防和辅助技术等多个领域。
人工智能正从软件故事转向AI工厂基础,芯片、数据管道和网络协同工作形成数字化生产系统。这种新兴模式重新定义了性能衡量标准和跨行业价值创造方式。AI工厂将定制半导体、低延迟结构和大规模数据仪器整合为实时反馈循环,产生竞争优势。博通、英伟达和IBM正在引领这一转变,通过长期定制芯片合同和企业遥测技术,将传统体验转化为活跃的数字生态系统。
中国电信研究院联合重庆大学、北航发布T2R-bench基准,首次系统评估AI从工业表格生成专业报告的能力。研究涵盖457个真实工业表格,测试25个主流AI模型,发现最强模型得分仅62.71%,远低于人类专家96.52%。揭示AI在处理复杂结构表格、超大规模数据时存在数字计算错误、信息遗漏等关键缺陷,为AI数据分析技术改进指明方向。