日前,浪潮推出了inData数据库一体机新品,专为HTAP(Hybrid Transactional/Analytical Processing)大并发事务实时处理与海量数据实时分析的混合负载业务场景设计,具有出色的高可用性、高性能以及强大的横向扩展能力,可以作为企业、政府数据库和数据仓库的统一承载平台,为数字化转型中的高端用户提供有力支撑。
传统的数据仓库环境和数据库架构,通常是将业务生产库和分析决策库进行分离,并通过ETL等工具将生产数据导出、清洗、加工处理,形成按业务需要划分的主题库,来满足多样化的业务分析决策需求。这样,企业要消耗几天甚至一周以上的时间才能得到目标分析数据,进行业务决策。随着海量业务数据急剧增长,企业要以最快速度得出分析结果,迅速调整企业决策。因此,企业要有一个强大的数据平台,在不进行数据库拷贝分离的情况下,能够同时支撑OLTP大并发在线事务处理和OLAP海量数据实时分析响应,即HTAP混合负载场景。
为此,浪潮发布了基于融合架构的inData数据库一体机,可一站式交付,开箱即用。inData一体机将浪潮K-DB数据库、NVMe SSD以及InfiniBand高速网络完美融合,结合先进的K-RAC集群技术以及RDMA协议,在存储节点开发了智能过滤、智能索引等独有技术,完美应对HTAP混合负载场景下同时存在的大并发事务处理和海量数据实时分析的发展需求。
inData一体机是一个全冗余的融合系统,分为软硬件紧耦合的计算、存储和网络三个资源池,服务器及Infiniband交换机等硬件设备都采用了冗余的配置,软件方面依靠K-DB数据库一体机的K-RAC共享存储多活集群、KAS存储虚拟化技术,提供了计算节点的高可用、存储节点的数据多副本镜像、条带化和数据再平衡等功能。因此,inData不仅能很好地避免单点故障,整体计算性能还可以随着设备的增加而近线性增长。
inData一体机可以实现百万级IOPS、海量吞吐与微妙延迟,提供PB级海量数据查询秒级响应能力。
在智能过滤方面,inData一体机在存储节点上部署了K-DB数据库实例,充分利用存储服务器的CPU、内存等计算资源,当计算节点收到来自应用的SQL请求后,首先将SQL卸载到存储节点做一遍行与列的筛选,然后将筛选后的更准确的数据块,通过网络传输到计算节点做进一步的精准计算。这一过滤过程既降低计算节点的运算负载,又数十倍的减小了计算与存储之间网络传输压力。在诸如全表扫描等复杂请求场景时,使OLAP业务性能提升5-10倍。
同时,inData一体机可以实现存储智能索引。这项技术可以减少不必要的磁盘I/O。在系统运行过程中,节点会实时地将列数据的概要信息更新存储到存储内存中,比如各区数据的Min/Max值,这样在数据查询过程中就可以通过概要信息预先定位数据存储区间,有效减少了磁盘的I/O次数。
inData一体机会自动统计数据的访问频次,将经常被访问的“热点数据”,存储在热点盘——PCIe NVMe SSD闪存卡中,不经常访问的数据则会存储在大容量机械磁盘中,做到智能缓存,很好的兼顾性能与成本。
这些技术有效提高了inData一体机的负载处理能力,其中OLAP场景的负载处理能力可较传统数据库提高10倍。
inData一体机出厂时已完成所有软硬件的安装、调试与优化,实现到客户现场一键式快速部署,整体系统部署时间缩短80%以上。
inData一体机提供用户定制化服务,基于“2+3”基础配置可以自由扩展“N+M”(N<=4,M<=32)的计算节点和存储节点数量配置,包括IB网络和万兆网、PCIe NVMe SSD全闪存及HDD存储的选配与组合,在满足用户个性化需求的同时,帮助用户更好地平衡成本与性能。
浪潮inData一体机完全融合现有的技术生态,已经在金融、制造、医疗和教育等广泛应用。浪潮解决方案部总经理乔鑫表示,“数据的统一整合是企业数字化的起点, inData一体机是一款理想的统一数据平台方案,希望这款产品能够帮助用户快速洞察商业机遇,加速数字化转型。”
好文章,需要你的鼓励
Gartner预测,到2030年所有IT工作都将涉及AI技术的使用,这与目前81%的IT工作不使用AI形成鲜明对比。届时25%的IT工作将完全由机器人执行,75%由人类在AI辅助下完成。尽管AI将取代部分入门级IT职位,但Gartner认为不会出现大规模失业潮,目前仅1%的失业由AI造成。研究显示65%的公司在AI投资上亏损,而世界经济论坛预计AI到2030年创造的就业机会将比消除的多7800万个。
CORA是微软研究院与谷歌研究团队联合开发的突破性AI视觉模型,发表于2023年CVPR会议。它通过创新的"区域提示"和"锚点预匹配"技术,成功解决了计算机视觉领域的一大挑战——开放词汇目标检测。CORA能够识别训练数据中从未出现过的物体类别,就像人类能够举一反三一样。在LVIS数据集测试中,CORA的性能比现有最佳方法提高了4.6个百分点,尤其在稀有类别识别上表现突出。这一技术有望广泛应用于自动驾驶、零售、安防和辅助技术等多个领域。
人工智能正从软件故事转向AI工厂基础,芯片、数据管道和网络协同工作形成数字化生产系统。这种新兴模式重新定义了性能衡量标准和跨行业价值创造方式。AI工厂将定制半导体、低延迟结构和大规模数据仪器整合为实时反馈循环,产生竞争优势。博通、英伟达和IBM正在引领这一转变,通过长期定制芯片合同和企业遥测技术,将传统体验转化为活跃的数字生态系统。
中国电信研究院联合重庆大学、北航发布T2R-bench基准,首次系统评估AI从工业表格生成专业报告的能力。研究涵盖457个真实工业表格,测试25个主流AI模型,发现最强模型得分仅62.71%,远低于人类专家96.52%。揭示AI在处理复杂结构表格、超大规模数据时存在数字计算错误、信息遗漏等关键缺陷,为AI数据分析技术改进指明方向。