尽管自己的下一代GPU芯片要到明年才会推出,但在本周开幕的GPU Technology Conference(GTC)大会上,Nvidia把重点放在了一系列新设备和新服务上,旨在巩固自身芯片在计算机图形、数据科学和人工智能等领域的领先地位。
本周在美国圣克拉拉举行的年度GTC大会上,Nvidia推出了旨在加速数据科学的工作站新产品,以及基于RTX实时光线追踪技术的服务器新产品。RTX是Nvidia去年底推出的一项技术,用于提供电影级质量的图像,以制作视频游戏、虚拟现实和增强现实。
这次新推出的数据科学工作站系列产品将由Nvidia主要的计算机合作伙伴厂商供货,例如Dell Technologies以及联想集团。Nvidia联合创始人、首席执行官黄仁勋在周一下午的GTC大会主题演讲中吹嘘说,“我们正在整个企业数据科学团队浓缩到一个小盒子里”。
Nvidia还表示,Nvidia很快就将通过Nvidia云向客户提供最顶级的、面向人工智能的数据中心服务器芯片T4,而且还将通过AWS G4新计算实例提供。此外,思科、Dell EMC、富士通、HPE、浪潮、联想和曙光等厂商的服务器系统也将支持T4芯片。该芯片专为机器学习和深度学习打造,近年来,这两个人工智能的分支已经在语音识别、图像识别、自动驾驶汽车方面取得了巨大的进步。
特别是T4芯片还瞄准了AI推理工作负载,这种工作负载是运行神经网络模型的计算密集型负载,需要用大量数据进行训练。Nvidia副总裁、加速计算部门总经理Ian Buck表示,在云中使用T4,已经被用于帮助PayPal实时处理付款过程,同时将欺诈行为减少10%,也帮助Snap进行实时处理照片捕捉,以及提高广告效率。
Nvidia首席科学家、研究主管Bill Dally在接受采访时表示,T4在人工智能推理方面仍然远远领先于竞争对手,甚至超过了数十家芯片制造商所生产的专用AI芯片。“很多初创公司可能要让他们的风险投资方们失望了,”他说。
无论如何,随着这些AI模型被用于各种服务中,未来几年,人工智能推理的增速要远远快于人工智能训练。
Moor Insights&Strategy分析师Karl Freund认为:“推理加速仍然是一个小众市场,但会实现大幅的增长,在未来五年超过人工智能训练市场。在T4问世之前,Nvidia从来没有一款专门为推理任务设计的芯片,所以这是Nvidia在推动采用、用于本地环境以及云中迈出的重要一步。”
Nvidia还推出了一款名为CUDA-X的统一加速计算服务库。目前,AWS正在自己的SageMaker机器学习云服务中使用CUDA-X,此外微软、Databricks等公司也在使用中。这款免费产品还将通过软件容器提供给客户,使其可以在多个计算硬件和平台之上使用。
黄仁勋表示:“加速计算不仅仅关乎于芯片,一个计算机的成功是与围绕它的生态系统有关的。”
Nvidia还面向人工智能提供了一些专用的工具包,例如今天Nvidia推出了可以辅助放射学的Clara AI。
Nvidia还重点推出了为世界各地从自动驾驶汽车、机器人到网络边缘的其他设备所打造的新产品和服务。
在自动驾驶汽车方面,Nvidia宣布了一款基于云的DRIVE Constellation自动驾驶汽车仿真平台。Nvidia表示,该平台在从常规驾驶、到非常罕见和非常危险的各种虚拟场景中驾驶数百万英里,比在现实世界中的驾驶效率更高。这款平台是在去年GTC大会上公布的,采用了两台服务器,一台是作为模拟器,另一台配置了Nvidia的DRIVE AGX Pegasus AI驱动型汽车计算机,用于处理模拟的传感器数据。
此外,Nvidia还公布了DRIVE AV自动驾驶汽车软件套件的Safety Force Field驾驶政策,该套件可以预测驾驶环境中的各种变化,并采取保护汽车和路上行人的最佳措施,旨在确保各项操作不会造成不安全的情况。
Nvidia自动驾驶软件副总裁David Nister表示,Safety Force Field是“以数学方式进行设计的,这样配备了SFF的自动驾驶车辆就会像磁铁一样相互排斥,确保自身不受伤害,不会造成危险的情况。此外,它还可以与任何驾驶软件结合使用”。
Nvidia表示,已经与Toyota Research Institute-Advanced Development签署协议,合作开发、训练和验证自动驾驶型汽车,它也是将是首个采用Constellation的第一家公司。
Nvidia还在今年的GTC大会上宣布推出了Jetson Nano,加强对边缘设备的服务。Jetson Nano是一台小型计算机,只需5瓦功率就能运行人工智能工作负载。
Jetson Nano有两个版本,一个是面向开发者的版本,价格为99美元,另一个是面向企业的生产就绪型版本,价格为129美元,旨在让普通人更容易构建机器人、数字助理和自动化设备等人工智能项目。Dally说,从本质上说,Jeston Nano是要成为AI版的Raspberry Pi。
最近几个季度Nvidia一直深陷困境,因为随着比特币和其他替代货币的价格不断下滑,市场对于用于加密货币挖矿使用的Nvidia芯片需求量也在不断缩减。不过大多数分析师认为,这个问题只是暂时性的,Nvidia不仅可以利用在游戏这一核心业务方面的增长,而且还有数据科学和人工智能等高速增长的新兴市场——因此,今年的GTC大会就把重点放在了后两者上。
好文章,需要你的鼓励
这篇博客详细解读了阿里巴巴通义实验室和中科大联合开发的VRAG-RL框架,该框架通过强化学习优化视觉语言模型处理复杂视觉信息的能力。研究创新性地定义了视觉感知动作空间,使模型能从粗到细地感知信息密集区域,并设计了结合检索效率与结果质量的精细奖励机制。实验表明,该方法在各类视觉理解任务上大幅超越现有技术,Qwen2.5-VL-7B和3B模型分别提升了20%和30%的性能,为处理图表、布局等复杂视觉信息提供了更强大的工具。
香港科技大学研究团队发现AI训练中的验证器存在严重缺陷。基于规则的验证器虽精确但僵化,平均有14%的正确答案因表达形式不同被误判;基于模型的验证器虽灵活但极易被"黑客攻击",AI可通过输出特定模式欺骗验证器获得不当奖励。研究提出混合验证器设计,结合两者优势,在数学推理任务上将性能提升3个百分点,为开发更可靠的AI训练系统提供重要启示。
这项研究提出了"用生成图像思考"的创新范式,使AI能够通过生成中间视觉步骤在文本和图像模态间自然思考。研究者实现了"原生长多模态思维过程",使大型多模态模型能够生成视觉子目标和自我批评视觉假设。实验表明,该方法在处理复杂多物体场景时性能提升高达50%,为医学研究、建筑设计和刑事侦查等领域开创了新的应用可能。
这篇论文介绍了GRE套装,一个通过精细调优视觉语言模型和增强推理链来提升图像地理定位能力的创新框架。研究团队开发了高质量地理推理数据集GRE30K、多阶段推理模型GRE以及全面评估基准GREval-Bench。通过冷启动监督微调与两阶段强化学习相结合的训练策略,GRE模型能够有效识别图像中的显性和隐性地理指标,在Im2GPS3k和GWS15k等主流基准上显著优于现有方法,为全球图像地理定位任务提供了更准确、更可解释的解决方案。