图:rawpixel/freepik
惠普企业有限公司(HPE)进一步扩展旗舰产品HPE GreenLake系列,日前推出支持生成式人工智能的GreenLake大型语言模型(LLMs)。
HPE表示,业界企业现在可以利用多租户超级计算云服务按需使用LLM及进行可持续的超级计算平台训练、微调和人工智能模型的部署。
HPE在美国拉斯维加斯举行的HPE Discover大会上宣布推出HPE GreenLake大型语言模型。 HPE与德国人工智能初创公司Aleph Alpha GmbH合作交付GreenLake大型语言模型。GreenLake大型语言模型为用户提供训练好的LLM,可用于需要文本和图像处理及分析的用例。据称,GreenLake大型语言模型是HPE计划推出的一系列行业和特定领域人工智能应用中的第一个产品。其他的一些应用将会支持诸如气候建模、医疗保健和生命科学、金融服务、制造和运输等用例。
HPE表示,GreenLake大型语言模型在HPE Cray XD超级计算机上运行。这意味着客户将不需要自己支付或租用这些资源。HPE Cray XD提供人工智能原生架构。人工智能原生架构是专门用于以全计算能力运行单一大规模人工智能训练及模拟工作负载。据HPE称,HPE Cray XD可以支持人工智能和高性能计算工作负载同时在数百甚至数千个中央处理单元和图形处理单元上运行,从而提供训练和创建更准确的人工智能模型所需的基础架构。
客户可以使用名为Luminous的预训练LLM。Luminous由Aleph Alpha开发。客户利用Luminous可以用自己的数据训练和微调定制的人工智能模型。客户利用该服务可以建立各种类型的人工智能应用,并将其整合到自己的业务工作流程中。用户还将获得HPE的机器学习开发环境和机器学习数据管理软件。该软件可提供人工智能模型的快速训练以及整合、训练数据的跟踪和审计等所需的工具。
Aleph Alpha首席执行官Jonas Andrul表示,“我们利用HPE的超级计算机和人工智能软件可以高效、快速地训练出Luminous这个大型语言模型,Luminous可供银行、医院和律师事务所等关键企业作为数字助理使用。我们很荣幸能成为HPE GreenLake大型语言模型的启动合作伙伴。我们将会把Luminous扩展到云端,并会将其以即服务的形式提供给终端客户,推动商业和研究计划新应用的发展。”
Constellation Research Inc.分析师Holger Mueller表示,HPE进入了一个越来越拥挤的领域,众多基础设施供应商都在争相为新一代的生成式人工智能工作负载提供支持。但他表示,HPE也有很大的发展空间,原因是希望建立这种模型的公司对计算资源的需求非常庞大。
Mueller表示,“HPE手里真正的王牌是旗下的Cray超级计算机。Cray拥有处理LLM工作负载的完美架构。HPE也在与多个人工智能合作伙伴进行开放合作,例如Aleph Alpha。HPE对于那些有数据安全意识的欧洲客户可能特别有吸引力。这些客户可以利用HPE GreenLake在云中进行训练,然后在本地进行推理,为公司的ProLiant服务器创造更多的工作负载。”
Mueller的Constellation同事Andy Thurai补充表示,HPE的产品与大型云供应商的产品不同,HPE的产品可能对一些气候建模、医疗保健和生命科学、金融服务、制造和运输等应用和行业有吸引力。他表示,“在这些特定行业建立特定领域平台可以带来价值。这在公共云中是难以做到的。”
他表示,HPE的混合计算方法同样也很独特。他称,“在混合地点训练LLM一直都是个挑战,原因之一是计算能力,另外还需要建立生态系统。HPE提供的超级计算即服务含内置人工智能和LLM模型训练生态系统,希望这可以提供一些帮助。”
Thurai指出,尽管如此,HPE其实是在寻找成熟的AI工作负载,而不是较新的、更具创新性的工作负载。因此,他表示,“工作负载数量和总的可用市场对这些客户来说将是非常有限的。公共云供应商将会找到一个机制防止最初的创新云工作负载迁移出去。”
HPE称HPE GreenLake大型语言模型将按需提供。HPE表示现在已开始接受订单,预计到今年年底将在北美启动并运行,2024年初在欧洲启动。
好文章,需要你的鼓励
这项研究提出了HoPE(混合位置编码),一种针对视觉语言模型的新型位置编码技术,专门解决长视频理解的挑战。传统位置编码技术在处理长视频时表现不佳,HoPE通过两个创新解决了这一问题:混合频率分配策略(为空间信息分配高频,时间维度使用零频率)和动态时间缩放机制(根据视频速度灵活调整时间编码)。实验证明,HoPE在长视频理解和检索任务上分别提升了8.35%和22.23%,为AI更准确理解长视频内容开辟了新途径。
东京大学研究团队推出MangaVQA基准和MangaLMM模型,专门用于评估和提升AI对日本漫画的理解能力。MangaVQA由526个高质量手动创建的问答对组成,用于评估AI系统对漫画内容的深入理解;MangaOCR则专注于漫画页内文本识别。基于这两个基准,研究团队从开源多模态模型Qwen2.5-VL微调出MangaLMM,能同时处理文本识别和内容理解任务。实验显示,即使是GPT-4o等顶尖商业模型在处理漫画的独特复杂性时也面临挑战,而专门训练的MangaLMM表现出色。
这项研究由ISTA和谷歌研究院联合开发的"影响力蒸馏"方法,通过利用二阶信息为训练样本分配最优权重,实现了大语言模型训练数据的高效选择。该方法在数学上有坚实理论支持,并创新性地引入"地标"近似技术,仅需计算少量样本的精确影响力,再高效传播到其他样本,大幅降低计算成本。实验证明,该方法在多种模型和任务上均优于或匹配现有技术,同时实现了高达3.5倍的速度提升,为大模型训练开辟了更高效的路径。
来自哈佛大学等顶尖学府的研究团队在这篇论文中挑战了传统观念,认为Token压缩不仅仅是提高AI模型运行效率的工具,更应成为生成式AI模型设计的核心原则。研究表明,精心设计的Token压缩策略可以促进多模态深度整合、减轻AI"幻觉"问题、增强处理长序列输入的能力,并提高训练稳定性。论文详细分析了现有方法的局限性,并提出了算法创新、强化学习指导和硬件协同设计等未来研究方向。