HPE今天公布了自去年收购Delivered AI之后取得的一些成果:一个用于大规模构建和训练机器学习模型的平台。
HPE表示,这个名为HPE Machine Learning Development System的系统结合了HPE Machine Learning Development Environment与计算、加速器和板载网络,可显着加速模型的开发速度。
该系统旨在解决购买和安装大规模并行处理器所涉及的、通常是很复杂的多步骤过程,包括专门的计算、存储、互连和加速器。此次面市的打包产品让企业组织可以立即就开始构建和训练机器学习模型。
HPE公司高性能计算、关键任务解决方案和实验室总经理Justin Hotard表示:“训练深度学习模型不仅复杂、耗时而且是资源密集的,很多工程师把大量时间花费在管理基础设施上,而不是专注于优化模型上,这意味着他们可以专注于业务成果、而不是技术要求。”
该系统将作为基于HPE Apollo 6500 Gen10系统的单个软件包提供给用户,起步配置是8个Nvidia A100 80 GB GPU,管理堆栈使用HPE ProLiant DL325服务器和1Gb Ethernet Aruba CX 6300交换机。
网络和存储则由Nvidia Quantum InfiniBand提供,监控和管理由HPE Performance Cluster Management提供。
Hotard说:“当今市场上普遍存在的是刚性解决方案,在规模上是非常昂贵的,同时对于客户来说这意味着更复杂、需要更长时间才能获得洞察。”而HPE的目标是为客户“在部署模型的位置和部署模型的基础设施方面提供极大的灵活性”。
HPE还通过推出HPE Swarm Learning(一种用于边缘计算或者分布式计算的隐私保护、去中心化机器学习框架)来巩固自己的AI业务。该框架为客户提供的软件容器可以与使用HPE swarm API的AI模型进行集成,让企业组织能够与其他组织共享AI模型的学习成果,而无需共享任何实际数据。
大多数AI模型训练都依赖于集中的、合并的数据集,由于需要移动大量数据,因此这既低效成本又高。在受监管的行业中,此类模型训练也可能受到限制外部数据共享、移动数据隐私以及所有权方面各项规则的约束,结果就会导致AI模型的质量较低,HPE表示。
HPE Swarm Learning让企业组织在源头位置就可以采用分布式数据,增加训练数据集大小的同时,确保遵循数据治理和数据隐私规定。区块链技术则用于保护链中成员、动态选举领导者、合并模型参数等方面。
此外,HPE还宣布在和高通合作的基础上提供更先进的推理产品,支持异构系统架构以实现大规模AI推理。HPE将提供坚固耐用的Edgeline EL8000 Converged Edge系统以及用于推理和边缘的Qualcomm Cloud AI 100加速器,该产品预计于8月全面上市。
好文章,需要你的鼓励
这项研究提出了HoPE(混合位置编码),一种针对视觉语言模型的新型位置编码技术,专门解决长视频理解的挑战。传统位置编码技术在处理长视频时表现不佳,HoPE通过两个创新解决了这一问题:混合频率分配策略(为空间信息分配高频,时间维度使用零频率)和动态时间缩放机制(根据视频速度灵活调整时间编码)。实验证明,HoPE在长视频理解和检索任务上分别提升了8.35%和22.23%,为AI更准确理解长视频内容开辟了新途径。
东京大学研究团队推出MangaVQA基准和MangaLMM模型,专门用于评估和提升AI对日本漫画的理解能力。MangaVQA由526个高质量手动创建的问答对组成,用于评估AI系统对漫画内容的深入理解;MangaOCR则专注于漫画页内文本识别。基于这两个基准,研究团队从开源多模态模型Qwen2.5-VL微调出MangaLMM,能同时处理文本识别和内容理解任务。实验显示,即使是GPT-4o等顶尖商业模型在处理漫画的独特复杂性时也面临挑战,而专门训练的MangaLMM表现出色。
这项研究由ISTA和谷歌研究院联合开发的"影响力蒸馏"方法,通过利用二阶信息为训练样本分配最优权重,实现了大语言模型训练数据的高效选择。该方法在数学上有坚实理论支持,并创新性地引入"地标"近似技术,仅需计算少量样本的精确影响力,再高效传播到其他样本,大幅降低计算成本。实验证明,该方法在多种模型和任务上均优于或匹配现有技术,同时实现了高达3.5倍的速度提升,为大模型训练开辟了更高效的路径。
来自哈佛大学等顶尖学府的研究团队在这篇论文中挑战了传统观念,认为Token压缩不仅仅是提高AI模型运行效率的工具,更应成为生成式AI模型设计的核心原则。研究表明,精心设计的Token压缩策略可以促进多模态深度整合、减轻AI"幻觉"问题、增强处理长序列输入的能力,并提高训练稳定性。论文详细分析了现有方法的局限性,并提出了算法创新、强化学习指导和硬件协同设计等未来研究方向。