如今,超过20项NVIDIA NGC软件资源可直接在AWS Marketplace中免费获取,加快AI在医疗健康、对话式AI、HPC、机器人技术、数据科学等领域的部署

AI正在改变各行各业。如其他业务一样,好的开始就是成功的一半。
为了帮助企业快速的起动,NVIDIA正与AWS展开合作,在AWS Marketplace中直接提供21种NVIDIA NGC软件资源。客户可在AWS Marketplace中搜索、购买,并即刻使用在AWS上运行的软件和服务。
NGC是经过优化、可在NVIDIA GPU云实例上运行的软件目录。这些云实例包括,采用了性能创下MLPerf纪录的NVIDIA A100 Tensor Core GPU的 Amazon EC2 P4d实例等。AWS用户可免费部署这些软件,以加速其AI部署。
2017年开始,NVIDIA通过NVIDIA NGC目录提供GPU优化软件。随后,业内对此类资源的需求激增。目前,已有超过25万用户下载了该目录中所提供的超过100万个AI容器、预训练模型、应用框架、Helm图表和其他机器学习资源。
携手共创云服务的另一先河
AWS是第一家在其市场上提供NGC目录的云服务供应商。在进行新的部署时,许多企业机构首先会将目光投向云。因此,数据科学家和开发者可随心所欲地使用NGC软件,助力企业取得成功。借助NGC,他们可以在AWS生态系统中,轻松启动新的AI项目。
AWS Marketplace主管Chris Grusz表示:“在加速计算领域,AWS和NVIDIA已经合作了十多年。我们十分荣幸能够在AWS Marketplace中提供NVIDIA NGC目录。现在,借助从AWS Marketplace中直接获取的NVIDIA NGC软件,客户可在AWS上直接访问和部署这些专用软件资源,由此简化并加速其AI部署流程。”
NGC AI容器在AWS Marketplace上首发
为帮助数据科学家和开发者构建和部署AI解决方案,NGC目录提供数百种NVIDIA GPU加速机器学习框架和特定行业软件开发套件。12月18日,NGC在AWS Marketplace中发布,其中包含NVIDIA在医疗健康、推荐系统、对话式AI、计算机视觉、HPC、机器人技术、数据科学和机器学习领域最前沿的GPU加速AI软件,包括:
NVIDIA AI:一款框架和工具套件,包括MXNet、TensorFlow、NVIDIA Triton 推理服务器和PyTorch。
NVIDIA Clara Imaging:NVIDIA的域优化应用框架,可加速针对医学影像用例的深度学习训练和推理。
NVIDIA DeepStream SDK:一款多平台、可扩展的视频分析框架,可在边缘部署,并连接到任何云端。
NVIDIA HPC SDK:一款HPC编译器、库和软件工具套件。
NVIDIA Isaac Sim 机器学习训练:一款工具包,可帮助机器人机器学习工程师使用Isaac Sim生成合成图像,从而训练对象检测深度神经网络。
NVIDIA Merlin:一款开源beta框架,用于构建大规模深度学习推荐系统。
NVIDIA NeMo:一款开源Python工具包,用于开发最新对话式AI模型。
RAPIDS:一套开源数据科学软件库。
即时访问性能优化的AI软件
AWS Marketplace中的NGC软件带来许多优势,为数据科学家和开发者在AI领域的成功奠定基础。
更快的软件获取:借助AWS Marketplace,开发者和数据科学家可轻松访问最新版本的NVIDIA AI软件。
最新版本的NVIDIA软件:AWS Marketplace中的NGC软件实现了版本同步。因此,最新版本的软件在NGC目录中上线后,AWS用户就可以立即访问。该软件会不断优化,每月都能为用户提供最新的功能和性能改进。
简化软件部署:Amazon EC2、Amazon SageMaker、Amazon Elastic Kubernetes Service(EKS)和Amazon Elastic Container Service(ECS)用户可以在NVIDIA GPU实例上,快速订阅、提取和运行NGC软件,以上步骤均可在AWS管理控制台内完成。此外,SageMaker用户无需再将容器存储在Amazon Elastic Container Registry(ECR)中,从而简化了工作流程。
持续集成和开发:AWS Marketplace还提供NGC Helm图表,帮助DevOps团队快速、持续地部署服务。
好文章,需要你的鼓励
初创公司Mindbeam AI发布开源AI推理框架Litespark-Inference,可让三值大语言模型在Apple、Intel、AMD及Arm等主流CPU上高效运行。基准测试显示,相比标准PyTorch实现,该框架吞吐量提升17至96倍,内存占用降低逾80%。公司强调并非取代GPU,而是将CPU作为协同加速器,适用于边缘计算、本地部署及云端分离式推理架构,未来还将拓展至机器人等低功耗场景。
研究者通过给AI设计"内外双重追踪"框架,发现开源推理模型普遍存在"说一套想一套"的双面行为,其中监控反而触发更多欺骗,为AI安全评估提供了新维度。
RiskIQ联合创始人Elias Manousos与Brandon Dixon创立Ent Security,并完成1亿美元融资。该公司将自身定位于传统终端检测与企业AI治理之间,专注于在风险行为发生前识别用户及AI代理的操作意图。其平台以轻量级代理运行,支持Windows、macOS和Linux,已在酒店、金融及国防等行业的全球2000强企业中部署。本轮融资由Decibel Partners领投,红杉资本、Crosspoint Capital等跟投。
复旦大学与字节跳动联合提出ARM,一套离散视觉词汇驱动的自回归多模态模型,用同一个70亿参数大脑同时实现图像理解、生成与编辑,并引入强化学习进一步对齐人类偏好。