Nvidia今天推出了新版本的NeMo Megatron AI开发工具,该工具将让软件团队能够更快地训练神经网络。
而且,这次更新有望缩短训练高级自然语言处理模型所需的时间。
2020年,人工智能研究小组OpenAI推出了一种名为GPT-3的复杂自然语言处理模型。该模型可以执行从翻译文本到生成软件代码的各种任务。OpenAI提供的商业云服务让企业能够使用GPT-3的多个专业版本,并创建自己的自定义版本。
Nvidia今天更新的AI开发工具NeMo Megatron现在包含了针对训练GPT-3模型而优化的功能,预计这些功能可以将训练时间缩短多达30%。
Nvidia研究人员在今天发表的一篇博文中表示:“现在可以在24天内使用1024个NVIDIA A100 GPU对1750亿个参数模型进行训练,相比新版本发布之前,获得结果的时间缩短了10天,或大约250000小时的GPU计算时间。”
之所以能够得到加速得益于两项特性,即序列并行性和选择性激活重新计算。据Nvidia称,这两项功能都以不同方式对AI训练进行了加速。
GPT-3等AI模型由所谓层的软件构建块组成,每一层都执行一部分计算,神经网络利用这部分计算资源将数据转化为洞察力。加速AI训练常用的一种方法是配置神经网络层,以便计算可以并行执行,而不是一个接一个地执行,从而节省了时间。
序列并行性是此次NeMo Megatron新增的第一个功能,它使用相同的方法来加快处理速度。根据Nvidia的说法,这项新功能可以对以前只能按顺序一个一个执行的计算进行并行化,从而提高性能,并减少了多次执行相同计算的需要。
选择性激活重新计算是NeMo Megatron的另一个新功能,进一步减少了必须重复的计算次数。该功能通过优化所谓激活的计算操作来实现这一点,AI模型可以利用该功能处理数据。如果激活过程中必须重新计算的话,NeMo Megatron能够比以前更有效地执行此操作,从而缩短AI训练时间。
Nvidia还详细介绍了NeMo Megatron引入的另一项重大改进——超参数优化工具。超参数是软件团队在开发过程中为AI模型定义的配置设置,以优化其性能。使用Nvidia的超参数优化工具,软件团队就可以自动执行任务中涉及的一些手动工作。
开发人员可以指定AI模型的延迟或吞吐量级别,并让新工具自动找到满足要求所需的超参数。据Nvidia称,该功能对于优化AI训练过程特别有用,在一次内部测试中,Nvidia研究人员将GPT-3模型的训练吞吐量提高了30%。
Nvidia研究人员详细说明称:“我们在24小时内达到了175B GPT-3模型的最佳训练配置,与使用完全激活重新计算的常见配置相比,实现了吞吐量20%-30%的加速。”
好文章,需要你的鼓励
Hugging Face推出开源工具Yourbench,允许企业创建自定义基准来评估AI模型在其内部数据上的表现。这一工具通过复制大规模多任务语言理解基准的子集,以极低成本实现了对模型性能的精确评估。Yourbench的出现为企业提供了更贴合实际需求的AI模型评估方法,有望改善模型评估的方式。
Cognition AI 推出 Devin 2.0,这是其 AI 驱动的软件开发平台的更新版本。新版本引入了多项功能,旨在提升开发者与自主代理之间的协作效率。最引人注目的是,Devin 2.0 的起价从每月 500 美元大幅下调至 20 美元,使其更易于普及。新功能包括并行 Devin、交互式规划、代码库搜索等,有望提升开发效率并增强用户控制。
安迪·卡拉布蒂斯是一位杰出的CIO,她的职业生涯横跨多个行业和地区,经历了多次变革时刻。她在福特和通用汽车锻炼了领导力和技术专长,后来在戴尔、拜奥根和国家电网等公司担任高管,推动战略创新。本文总结了她对IT领导者核心技能的见解,包括战略沟通、情商、协作、远见卓识、变革管理和敏捷性等,对当今IT领导者具有重要参考价值。
边缘 AI 计算将使人形机器人、智能设备和自动驾驶等应用从数据中心和云端服务器解放出来,转移到制造车间、手术室和城市中心等场景。它能实现低延迟和自主决策,使 AI 无处不在,推动工业设施全面自动化,彻底改变商业和生活方式。边缘 AI 正在快速发展,各大科技公司纷纷推出相关硬件和软件平台,未来将为各行各业带来巨大变革。