2023年11月30日,中国电子技术标准化研究院、存储产业技术创新战略联盟联合华中科技大学、中山大学、之江实验室、浪潮信息、天翼云等20多家学研机构、企业和用户代表,共同撰写的业界首个《分布式融合存储研究报告》(以下简称:《报告》)正式发布。《报告》首次系统梳理并深入分析了分布式融合存储的概念、技术架构和应用场景,为融合存储产业发展提供参考和指引。
中国电子技术标准化研究院领导表示,“数据成为重要的生产要素,数据存储和数据管理在信息技术变革中的作用更加显著。分布式融合存储作为存储新技术,在数据存储领域将会发挥更大作用。”
中国计算机行业协会信息存储与安全专委会会长、华中科技大学教授谢长生表示,“存储作为数字技术底座之一,既得到空前发展也面临巨大挑战,分布式融合存储就是迎接这种挑战的关键技术,该报告汇聚了学术界、产业界和用户的集体智慧和经验,描述了一副全景视图。”
《分布式融合存储研究报告》
分布式融合存储将成为智算时代的数据基石
中国工程院院士、清华大学教授郑纬民指出,“数字化和智能化催生数据量爆炸式增长,分布式融合存储技术的出现,不仅可以提供数据存储的效率和安全性,还可以实现数据的动态管理和智能优化,为各种应用场景提供更加全面和可靠的数据支持。”
《报告》指出,相较于传统的分布式存储技术,分布式融合存储是在传统的分布式存储架构的基础上,实现了同一存储集群同时提供多种存储服务,并且在非结构化数据协议间实现了协议融合、数据融合互通的存储技术,其能够提供跨模式/格式数据共享互通的能力,并支持块、文件、对象、大数据多协议接入以及多协议关联统一管理,满足多应用跨不同协议实现高效的数据互通访问。
该报告明确了分布式融合存储的四大关键技术:统一存储池,保证数据能够均衡地分布在各个存储节点中,支持存储池的横向扩展,以及数据自动修复能力;存储服务融合,在一套存储系统中同时提供文件、对象、大数据和块存储服务,同时具备丰富的多协议支持能力;数据管理融合,采用统一的非结构化数据和元数据管理架构,保证各协议的原生访问;存储协议融合,支持NFS、CIFS、HDFS、S3等非结构化数据协议的融合互通,保证了各种协议共享同一份数据和元数据。分布式融合存储通过对底层硬件资源进行高通用性且细粒度的管理,可极大地缓解智算时代数据急剧增长所导致的存储资源紧张问题。
分布式融合存储架构
为五大典型场景提供强大存力支撑
分布式融合存储在海量多源异构数据处理和“通信、感知、计算”一体化的边缘场景方面提供了强有力的存力支撑,使其能够满足不同场景对于存储的需求,为当前的数字化转型时代提供了高效、多维、贯通和定制化的生产要素,让数据驱动向全场景渗透。
《报告》总结了分布式融合存储的五大典型应用场景:
分布式融合存储正成为用户首选的存储底座
《报告》预测,分布式融合存储这一新兴技术目前正处于发展早期阶段,仍面临多服务融合的高性能挑战,新存储形态的标准化挑战和智能化的运维管理挑战。
同时,分布式融合存储拥有广阔前景,首先分布式融合存储有助于“存力”构建,符合政策方向;其次,分布式融合存储在一套存储架构有效组织管理不同存储介质、存储协议和存储服务,使得“一套存储架构支持一个数据中心”成为可能;以AI大模型为基础技术,未来涌现的各类新应用需要更强大的数据基础设施和数据平台能力,带来不可估量的市场空间,注定分布式融合存储未来大为可期。
存储产业技术创新战略联盟秘书长李仁刚提出,“云计算、大数据和人工智能等技术的快速发展,将推动分布式融合存储的进一步应用、推广,成为越来越多行业用户的首选存储底座。”
好文章,需要你的鼓励
本文探讨了达成人工通用智能(AGI)七大路线中的线性进阶路径,预测了从2025年至2040年 AI 技术与社会效应的关键年度节点。
这项研究介绍了一种新型多模态扩散模型,能够同时生成量子电路的离散结构和连续参数。由因斯布鲁克大学和NVIDIA公司研究人员开发,该模型利用两个独立但协同工作的扩散过程处理门类型选择和参数预测,克服了传统量子电路编译方法的效率瓶颈。研究证明了该模型在不同量子比特数量、电路深度和参数化门比例下的有效性,并通过快速电路生成创建了数据集,从中提取出有价值的结构见解,为量子电路合成提供了新方向。
SenseFlow是香港科技大学等机构联合开发的文本到图像蒸馏技术,解决了大型流匹配模型蒸馏的三大难题。研究团队提出隐式分布对齐(IDA)稳定训练过程,段内引导(ISG)优化时间步重要性分配,并设计基于视觉基础模型的判别器提升生成质量。实验表明,SenseFlow能将SD 3.5和FLUX等12B参数级模型成功蒸馏为仅需4步生成的高效版本,同时保持甚至超越原模型在多项指标上的表现,代表了AI图像生成效率提升的重要突破。
MASKSEARCH是阿里巴巴集团同义实验室开发的新型预训练框架,通过创新的"检索增强掩码预测"任务,训练大型语言模型像人类一样主动使用搜索工具获取信息。这项框架包含两个阶段:首先在掩码预测任务上预训练,然后在下游任务上微调,大幅提升模型在开放域问答中的表现。研究采用监督微调和强化学习两种方法,结合多代理系统和课程学习策略,使AI能够自主分解问题、使用搜索工具并基于搜索结果进行推理。