至顶网服务器频道 07月11日 新闻消息: 由近两百台浪潮双路服务器NF5270M4搭建成的集群存储系统,为高分卫星地面数据处理系统提供约100GB/s的数据吞吐和1660Gb/s的网络传输能力,为"高分专项"前端卫星业务提供强有力的数据处理能力支撑,有效的提升了我国全球数据及时获取、接收和处理的能力,实现了对中国及周边地区多尺度、近实时的高分辨率观测能力。
浪潮服务器NF5270M4支撑高分专项地面数据处理系统
卫星那些事儿,离你并不远
发射卫星,跟百姓生活有什么关系吗?我们经常能听到这样的疑问。在许多人看来,航天技术高高在上,与我们的日常生活相去甚远。然而事实上,遥感、通信、导航等卫星的应用早与你我生活密不可分。利用风云气象卫星云图制作的天气预报,每天近10亿人收看;通过通信广播卫星,大众能随时了解信息变化;最近火起来的共享自行车使用的就是卫星提供的服务……
2006年,《国家中长期科学与技术发展规划纲要(2006-2020年)》把高分辨率对地观测系统列为当年部署的16个重大专项之一,是中国着手研发的新一代高分辨率对地观测系统。2010年5月,"高分专项"全面启动,这是一个非常庞大的遥感技术项目,包含至少7颗卫星和其他观测平台,分别编号为"高分一号"到"高分七号",都将在2020年前发射并投入使用。"高分"系列卫星覆盖了从全色、多光谱到高光谱,从光学到雷达,从太阳同步轨道到地球同步轨道等多种类型,构成了一个具有高空间分辨率、高时间分辨率和高光谱分辨率能力的对地观测系统。
想要"看得更清" 数据处理能力成关键
高分专项相关工作人员介绍到:"资源卫星成功发射升空后,资源卫星中心根据任务需要,相机进行照相并将图像信息等压缩成数字信息,再传到地面接收站,由数据处理中心将数字信息处理成图像,遥感专家再根据任务的需要对图像进行解译和判读,形成分析报告提供给农业、林业、水利、国土资源、城市规划、环境保护、灾害监测、海洋、测绘、国防建设等有关部门和单位。"
想要实现"看得更清"的目的,承担遥感卫星图像数据的存取和处理任务的地面数据处理系统必须具备极高的数据处理能力。以2*450Mbps极化复用商用遥感卫星为例,其每天接收的原始数据约为10TB,而这些数据都要存储在地面数据处理系统之中,同时系统还要随时承担应用数据调取和冷数据归档等数据IO任务。因此,地面数据处理系统呈现出大数据量、高IO带宽、多应用并等特点。
而随着高分卫星数据的不断增加,卫星应用的不断升级,后端地面数据处理系统对于卫星数据的存储和处理能力需求也在不断增加。想要"看得更清",高分辨率对对地观测系统地面数据处理系统的全面升级和扩展迫在眉睫。
对症下药才能药到病除
想要突破高分专项地面数据处理系统存储和计算能力的瓶颈,必须找到系统问题的根源,才能对症下药。浪潮工程师通过对用户业务进行分析,发现:
首先,此种平台应用具有系统数据存储量大,数据IO峰值并发高,应用类型复杂等多个特点,这对集群存储系统的压力极大。因此,必须采用拥有大容量、高IO、高可用的服务器设备。
其次,伴随着业务的发展与技术的革新,数据资料的数量会不断增加、体积会不断变大。因此,需要集群存储系统具备极强的扩展能力,能够在业务不中断的情况下进行容量和性能的提升,满足不断发展的业务需求。
再次,由于用户数据的重要性,本系统相对同类产品必须具有技术先进性和前瞻性,保证在足够长的年限内满足业务的需求。
针对这些特点和问题,浪潮工程师用数百台浪潮双路服务器NF5270M4帮助高分辨率对地观测系统地面数据处理系统搭建集群存储系统,存储系统软件使用的是集群文件系统,这是一个高度容错性的系统,能提供高吞吐量的数据访问,非常适合大规模数据集上的应用,适合部署在高性价比的服务器上。根据该系统的应用特性,浪潮提供了双路服务器NF5270M4服务器,为用户提供高性价比、高硬盘密度、灵活部署的集群存储服务器解决方案。
浪潮双路服务器NF5270M4
浪潮NF5270M4采用全新智能计算加速技术,搭载英特尔最新E5 v4处理器,可根据用户应用智能调节提供更优性能,应用性能显著提升。采用最新的DDR4内存技术,内存带宽提升50%。相比DDR3,传输速率提高2~4倍,但耗电量却大幅减少,在相同传输速率下,功率降低高达57.1%。为适配卫星数据大容量,高并行性等特点,NF5270M4超大存储空间为高分系统的大数据平台提供足够的存储空间及响应速度。
整个集群存储系统采用管理网络与业务网络分离的方式进行部署,所有的集群存储服务器分别连接千兆管理网络和万兆业务网络,并通过10Gb/s和40Gb/s上联端口将整个系统上联到资源卫星中心已有的核心交换网络中,无缝接入到已有的系统当中。
高分专项 利国利民
本着先进性、开放性、易管理、安全性、可靠性和经济性等原则,依托浪潮服务器建设的高分专项(民用部分)地面数据处理系统建设完成后,将为原有系统提供约100GB/s的数据吞吐和1660Gb/s的网络传输能力,为"高分专项"前端卫星业务提供强有力的数据处理能力支撑,提升我国全球数据及时获取、接收和处理的能力,实现对中国及周边地区多尺度、近实时的高分辨率观测能力。
"高分专项"的实施,将全面提升中国自主获取高分辨率观测数据的能力,加快中国空间信息应用体系的建设,推动卫星及应用技术的跨越发展,有力保障现代农业、防灾减灾、资源环境、国家安全的重大战略,大力支撑国土调查与利用、地理测绘、海洋和气候气象观测、水利和林业资源监测、城市和交通精细化管理、疫情评估与公共卫生应急、地球系统科学研究等重点领域应用需求,积极支持区域示范应用,加快推动空间信息产业发展。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。