日前,浪潮推出了inData数据库一体机新品,专为HTAP(Hybrid Transactional/Analytical Processing)大并发事务实时处理与海量数据实时分析的混合负载业务场景设计,具有出色的高可用性、高性能以及强大的横向扩展能力,可以作为企业、政府数据库和数据仓库的统一承载平台,为数字化转型中的高端用户提供有力支撑。
传统的数据仓库环境和数据库架构,通常是将业务生产库和分析决策库进行分离,并通过ETL等工具将生产数据导出、清洗、加工处理,形成按业务需要划分的主题库,来满足多样化的业务分析决策需求。这样,企业要消耗几天甚至一周以上的时间才能得到目标分析数据,进行业务决策。随着海量业务数据急剧增长,企业要以最快速度得出分析结果,迅速调整企业决策。因此,企业要有一个强大的数据平台,在不进行数据库拷贝分离的情况下,能够同时支撑OLTP大并发在线事务处理和OLAP海量数据实时分析响应,即HTAP混合负载场景。
为此,浪潮发布了基于融合架构的inData数据库一体机,可一站式交付,开箱即用。inData一体机将浪潮K-DB数据库、NVMe SSD以及InfiniBand高速网络完美融合,结合先进的K-RAC集群技术以及RDMA协议,在存储节点开发了智能过滤、智能索引等独有技术,完美应对HTAP混合负载场景下同时存在的大并发事务处理和海量数据实时分析的发展需求。
inData一体机是一个全冗余的融合系统,分为软硬件紧耦合的计算、存储和网络三个资源池,服务器及Infiniband交换机等硬件设备都采用了冗余的配置,软件方面依靠K-DB数据库一体机的K-RAC共享存储多活集群、KAS存储虚拟化技术,提供了计算节点的高可用、存储节点的数据多副本镜像、条带化和数据再平衡等功能。因此,inData不仅能很好地避免单点故障,整体计算性能还可以随着设备的增加而近线性增长。
inData一体机可以实现百万级IOPS、海量吞吐与微妙延迟,提供PB级海量数据查询秒级响应能力。
在智能过滤方面,inData一体机在存储节点上部署了K-DB数据库实例,充分利用存储服务器的CPU、内存等计算资源,当计算节点收到来自应用的SQL请求后,首先将SQL卸载到存储节点做一遍行与列的筛选,然后将筛选后的更准确的数据块,通过网络传输到计算节点做进一步的精准计算。这一过滤过程既降低计算节点的运算负载,又数十倍的减小了计算与存储之间网络传输压力。在诸如全表扫描等复杂请求场景时,使OLAP业务性能提升5-10倍。
同时,inData一体机可以实现存储智能索引。这项技术可以减少不必要的磁盘I/O。在系统运行过程中,节点会实时地将列数据的概要信息更新存储到存储内存中,比如各区数据的Min/Max值,这样在数据查询过程中就可以通过概要信息预先定位数据存储区间,有效减少了磁盘的I/O次数。
inData一体机会自动统计数据的访问频次,将经常被访问的“热点数据”,存储在热点盘——PCIe NVMe SSD闪存卡中,不经常访问的数据则会存储在大容量机械磁盘中,做到智能缓存,很好的兼顾性能与成本。
这些技术有效提高了inData一体机的负载处理能力,其中OLAP场景的负载处理能力可较传统数据库提高10倍。
inData一体机出厂时已完成所有软硬件的安装、调试与优化,实现到客户现场一键式快速部署,整体系统部署时间缩短80%以上。
inData一体机提供用户定制化服务,基于“2+3”基础配置可以自由扩展“N+M”(N<=4,M<=32)的计算节点和存储节点数量配置,包括IB网络和万兆网、PCIe NVMe SSD全闪存及HDD存储的选配与组合,在满足用户个性化需求的同时,帮助用户更好地平衡成本与性能。
浪潮inData一体机完全融合现有的技术生态,已经在金融、制造、医疗和教育等广泛应用。浪潮解决方案部总经理乔鑫表示,“数据的统一整合是企业数字化的起点, inData一体机是一款理想的统一数据平台方案,希望这款产品能够帮助用户快速洞察商业机遇,加速数字化转型。”
好文章,需要你的鼓励
微软近年来频繁出现技术故障和服务中断,从Windows更新删除用户文件到Azure云服务因配置错误而崩溃,质量控制问题愈发突出。2014年公司大幅裁减测试团队后,采用敏捷开发模式替代传统测试方法,但结果并不理想。虽然Windows生态系统庞大复杂,某些问题在所难免,但Azure作为微软核心云服务,反复因配置变更导致客户服务中断,已不仅仅是质量控制问题,更是对公司技术能力的质疑。
Meta研究团队发现仅仅改变AI示例间的分隔符号就能导致模型性能产生高达45%的巨大差异,甚至可以操纵AI排行榜排名。这个看似微不足道的格式选择问题普遍存在于所有主流AI模型中,包括最先进的GPT-4o,揭示了当前AI评测体系的根本性缺陷。研究提出通过明确说明分隔符类型等方法可以部分缓解这一问题。
当团队准备部署大语言模型时,面临开源与闭源的选择。专家讨论显示,美国在开源AI领域相对落后,而中国有更多开源模型。开源系统建立在信任基础上,需要开放数据、模型架构和参数。然而,即使是被称为"开源"的DeepSeek也并非完全开源。企业客户往往倾向于闭源系统,但开源权重模型仍能提供基础设施选择自由。AI主权成为国家安全考量,各国希望控制本地化AI发展命运。
香港中文大学研究团队开发出CALM训练框架和STORM模型,通过轻量化干预方式让40亿参数小模型在优化建模任务上达到6710亿参数大模型的性能。该方法保护模型原生推理能力,仅修改2.6%内容就实现显著提升,为AI优化建模应用大幅降低了技术门槛和成本。