近日,山东省水文局将多年来跋山涉水勘测收集的20亿水文数据,逐步迁移到浪潮AS5600高性能存储为核心的统一数据资源平台上,实现山东水文数据共享互通和敏捷服务。
旱涝如何可测?
山东水文局官方网站上的公开数据显示,山东省水资源严重短缺。全省多年平均水资源总量303亿立方米,仅占全国水资源总量的1.1%。人均水资源占有量为334立方米,不到全国水平的1/6,不足世界平均水平的1/25,远远低于国际公认的维持一个地区经济社会发展所必需的人均1000立方米水资源量的临界值。严重缺水的同时,洪涝灾害仍是心腹之患。山东省降水时空分布极不均匀,主汛期降水量约占全年的3/4,有时甚至集中在一两次暴雨过程,极易形成洪涝灾害。
水资源对山东经济发展有重要影响
“山东省要么不下雨,一下就大雨,容易形成涝灾,及时有效的决策很重要”,山东省水文局相关负责人认为,要想做出及时有效的决策,就必须对已建的系统数据资源进行整合,方便对全省水文数据的综合分析,实现不同系统之间的数据共享。
20亿条水文数据
要实现这一点并不容易。近几年,随着水土监测、水文工作的逐步开展,山东省各类水文监测站点大幅增加,截至2012年底全省已达9650处,积累的水文数据多达20亿条。
与此同时,数据中心也面临着一系列的困境,水文资源信息化的建设业务应用分散、数据共享困难、公共服务力度不足。尤为明显的表现就是,水文工作涵盖水文测验、水土监测、水文情报预报、水资源分析评价、水环境监测、水文数据库、视频会议、视频监控、电子政务系统等多种业务,但这些数据大多都掌握在各部门内部,各部门系统及数据建设标准不统一、资金投入分散、应用程度不同,部门之间统筹规划力度不够,难以实现协同合作。
IT系统随意按需增长,机房里会充斥着各种各样相互孤立的应用系统,它们彼此之间的资源无法共享,使得磁盘资源的利用效率低下,机房空间消耗殆尽、设备消耗大量的电能,给制冷系统造成持续的负荷;同时,纷繁的系统也给系统管理员带来很大的工作压力。
AS5600 做水文“尖兵”
面对一系列难题,作为数据中心基础设施的存储设备需要能够全面支持虚拟化业务,成为数据中心可随需分配、可灵活调度的资源平台,实现数据互联互通;同时,政府事务对信息安全要求极高,存储设备必须高可靠、统一管理数据,杜绝因人为误操作、硬件故障、自然灾害等问题造成数据丢失,确保数据安全可靠;面对业务发展带来的数据量增长,存储架构还要能够灵活扩展、平滑升级容量,兼容异构存储,保持存储设备的高利用率,以应对将来数据中心的扩容需求;另外,存储需要构建数据容灾系统,进一步提升电子政务系统的可靠性。
针对山东水文局的需求,浪潮提供了基于虚拟化技术的平台整合解决方案。经过反复比较,水文局最终选择了浪潮,采用数台浪潮高端四路服务器以及AS5600存储构建了SAN架构的虚拟化平台。借助虚拟化和自动化技术,实现硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控、统一备份,把基础架构变得更灵活。虚拟化技术帮助山东省水文局大大提高了服务器资源利用率,降低了硬件采购成本的需要,提高了工作效率,并实现了IT资源管理集中管理、流程化、自动化的目标。
浪潮AS5600统一存储
采用基于SAN架构的虚拟化技术,让水文局在数据存储上也获益良多,能够便捷地在不同服务器间转移存储系统,共享存储系统和数据库,并实现不同服务器间的数据共享,打破了以往“信息孤岛”的窘境,让各个部门能够信息互通、协同合作,对水文资源的监管分析质量及效率都得到了很大提升;同时,存储系统的使用效率提高,平衡了工作量,获得了更加快速的数据存储及共享速度;存储采用多种方式管理,方便IT管理人员对设备进行调控,降低了存储系统的管理成本,还提供了更高的存储弹性、可靠性和安全性。
存储架构中的核心设备——浪潮AS5600为水文局带来了更高的价值。AS5600存储采用模块化设计,标配双控制器,配置32GB缓存,可扩展至192GB,大缓存带来的好处是显而易见的,水文局存在大量的监测与分析工作,在面对这些高IOPS需求的虚拟化应用时,AS5600能够将更多频繁访问的数据放入高速DRAM内存Cache中,以减少对磁盘的访问,从而提高存储系统的性能。
山东省水文局统一资源平台拓补图
水文数据不断地动态增长,同时历史数据对水环境的分析也有着重要意义,一样需要完好保存。浪潮AS5600领先同类产品的扩展能力,可确保水文局未来的数据增长有备无患,AS5600可支持2U12、2U24和4U60不同类型扩展柜,最大支持1200块硬盘扩展;在端口方面,AS5600配置8Gb FC主机端口,可根据需求升级到16Gb/s FC端口、10 Gb/s iSCSI端口或FcoE端口;同时AS5600提供了自动精简配置、快照功能,让物理存储设备只在有真正数据写入情况下进行分配,避免了传统存储配置下大量存储空间的浪费,帮助用户更加合理地规划存储空间,提高磁盘利用率。除基本功能外,AS5600较同级产品提供了更丰富的软件功能,例如自动分层存储、远程镜像、QoS、双活等,大大降低了应用和管理的难度。
AS5600 驱动水资源信息化管理
以浪潮AS5600存储为核心的解决方案,帮助山东省水文局搭建了统一资源平台,针对数据中心面临的挑战,实现了“资源共享、性能突出、高度虚拟化、高可扩展性及高可管理性”的IT基础架构建设目标。在平台构建过程中,浪潮提供了包括咨询和设计、产品及解决方案、施工实施、售后服务等环节在内的“交钥匙”式服务,全面支持整个项目的建设。
山东省水文局与浪潮联合搭建的统一资源平台,可以说是水文事业信息化建设的“风向标”,也是浪潮存储打造的又一个成功“样板”。
好文章,需要你的鼓励
UniR(Universal Reasoner)是一种创新的推理增强方法,可为冻结的大语言模型提供即插即用的推理能力。由韩国科学技术院研究团队开发,该方法将推理能力分解为独立的轻量级模块,无需改变主模型结构。UniR的核心优势在于高效训练(仅更新小型推理模块)、出色的模型间迁移能力(小模型可指导大模型)以及模块组合能力(多个专用模块可通过logits相加组合使用)。在数学推理和翻译测试中,UniR显著超越现有微调方法,展示了轻量级模块如何有效增强大语言模型的推理能力。
Nebius团队开发了SWE-rebench,一个自动化管道用于从GitHub收集软件工程任务并进行去污染评估。该系统解决了两大挑战:高质量训练数据稀缺和评估基准容易被污染。通过四阶段处理(初步收集、自动安装配置、执行验证和质量评估),SWE-rebench构建了包含超过21,000个Python交互式任务的数据集,并提供持续更新的评估基准。研究发现部分语言模型在传统基准上的表现可能被污染效应夸大,而DeepSeek模型在开源模型中表现最为稳健。
这项研究提出了JQL(发音为"Jackal"),一种通过多语言方法提升大型语言模型预训练数据质量的创新系统。研究团队从拉马尔研究所等机构通过四阶段方法解决了多语言数据筛选的难题:先由人类评估内容教育价值创建基准数据,然后评估大型语言模型作为"评判者"的能力,接着将这些能力提炼到轻量级评估器中,最后应用于大规模数据筛选。实验表明,JQL在35种语言上显著优于现有方法,甚至能泛化到未见过的语言如阿拉伯语和中文,为多语言AI发展提供了高效可靠的数据筛选方案。
浙江大学和西湖大学研究团队开发的Styl3R实现了艺术风格化3D重建的重大突破,能在不到一秒内从少量未标定照片和任意风格图像创建具有多视角一致性的3D艺术场景。通过创新的双分支网络架构将结构建模与外观着色分离,系统不仅保持了原始场景结构,还准确捕捉了参考风格特征。与现有方法相比,Styl3R在处理速度和视觉质量上均显著领先,为创意内容制作开辟了全新可能。