如今,超过20项NVIDIA NGC软件资源可直接在AWS Marketplace中免费获取,加快AI在医疗健康、对话式AI、HPC、机器人技术、数据科学等领域的部署
AI正在改变各行各业。如其他业务一样,好的开始就是成功的一半。
为了帮助企业快速的起动,NVIDIA正与AWS展开合作,在AWS Marketplace中直接提供21种NVIDIA NGC软件资源。客户可在AWS Marketplace中搜索、购买,并即刻使用在AWS上运行的软件和服务。
NGC是经过优化、可在NVIDIA GPU云实例上运行的软件目录。这些云实例包括,采用了性能创下MLPerf纪录的NVIDIA A100 Tensor Core GPU的 Amazon EC2 P4d实例等。AWS用户可免费部署这些软件,以加速其AI部署。
2017年开始,NVIDIA通过NVIDIA NGC目录提供GPU优化软件。随后,业内对此类资源的需求激增。目前,已有超过25万用户下载了该目录中所提供的超过100万个AI容器、预训练模型、应用框架、Helm图表和其他机器学习资源。
携手共创云服务的另一先河
AWS是第一家在其市场上提供NGC目录的云服务供应商。在进行新的部署时,许多企业机构首先会将目光投向云。因此,数据科学家和开发者可随心所欲地使用NGC软件,助力企业取得成功。借助NGC,他们可以在AWS生态系统中,轻松启动新的AI项目。
AWS Marketplace主管Chris Grusz表示:“在加速计算领域,AWS和NVIDIA已经合作了十多年。我们十分荣幸能够在AWS Marketplace中提供NVIDIA NGC目录。现在,借助从AWS Marketplace中直接获取的NVIDIA NGC软件,客户可在AWS上直接访问和部署这些专用软件资源,由此简化并加速其AI部署流程。”
NGC AI容器在AWS Marketplace上首发
为帮助数据科学家和开发者构建和部署AI解决方案,NGC目录提供数百种NVIDIA GPU加速机器学习框架和特定行业软件开发套件。12月18日,NGC在AWS Marketplace中发布,其中包含NVIDIA在医疗健康、推荐系统、对话式AI、计算机视觉、HPC、机器人技术、数据科学和机器学习领域最前沿的GPU加速AI软件,包括:
NVIDIA AI:一款框架和工具套件,包括MXNet、TensorFlow、NVIDIA Triton 推理服务器和PyTorch。
NVIDIA Clara Imaging:NVIDIA的域优化应用框架,可加速针对医学影像用例的深度学习训练和推理。
NVIDIA DeepStream SDK:一款多平台、可扩展的视频分析框架,可在边缘部署,并连接到任何云端。
NVIDIA HPC SDK:一款HPC编译器、库和软件工具套件。
NVIDIA Isaac Sim 机器学习训练:一款工具包,可帮助机器人机器学习工程师使用Isaac Sim生成合成图像,从而训练对象检测深度神经网络。
NVIDIA Merlin:一款开源beta框架,用于构建大规模深度学习推荐系统。
NVIDIA NeMo:一款开源Python工具包,用于开发最新对话式AI模型。
RAPIDS:一套开源数据科学软件库。
即时访问性能优化的AI软件
AWS Marketplace中的NGC软件带来许多优势,为数据科学家和开发者在AI领域的成功奠定基础。
更快的软件获取:借助AWS Marketplace,开发者和数据科学家可轻松访问最新版本的NVIDIA AI软件。
最新版本的NVIDIA软件:AWS Marketplace中的NGC软件实现了版本同步。因此,最新版本的软件在NGC目录中上线后,AWS用户就可以立即访问。该软件会不断优化,每月都能为用户提供最新的功能和性能改进。
简化软件部署:Amazon EC2、Amazon SageMaker、Amazon Elastic Kubernetes Service(EKS)和Amazon Elastic Container Service(ECS)用户可以在NVIDIA GPU实例上,快速订阅、提取和运行NGC软件,以上步骤均可在AWS管理控制台内完成。此外,SageMaker用户无需再将容器存储在Amazon Elastic Container Registry(ECR)中,从而简化了工作流程。
持续集成和开发:AWS Marketplace还提供NGC Helm图表,帮助DevOps团队快速、持续地部署服务。
好文章,需要你的鼓励
谷歌研究团队推出VaultGemma,这是其首个采用差分隐私技术的大语言模型。该模型基于Gemma 2构建,拥有10亿参数,通过在训练阶段引入校准噪声来防止模型"记忆"敏感用户数据。研究团队建立了差分隐私缩放定律,平衡计算预算、隐私预算和数据预算。尽管添加差分隐私会影响准确性,但VaultGemma在性能上与同规模非私有模型相当。该模型现已在Hugging Face和Kaggle平台开放下载。
香港中文大学联合上海AI实验室推出Dispider系统,首次实现AI视频"边看边聊"能力。通过创新的三分式架构设计,将感知、决策、反应功能独立分离,让AI能像人类一样在观看视频过程中进行实时交流,在StreamingBench测试中显著超越现有系统,为教育、娱乐、医疗、安防等领域的视频AI应用开启新可能。
英国宽带服务商Olilo正式推出多千兆宽带服务,专门面向技术人员、工程师、系统管理员和家庭实验室爱好者。该公司自建Layer 2网络基础设施,提供对称多千兆宽带,支持静态IPv4地址和原生IPv6。Olilo与伦敦三大互联网交换中心建立对等连接,在英国对等网络中排名第24位。服务经过150多名技术用户的付费封闭测试,并通过Discord社区持续收集用户反馈优化服务。
Atla公司发布Selene Mini,这是一个仅有80亿参数的AI评估模型,却在11个基准测试中全面超越GPT-4o-mini。通过精心的数据筛选和创新训练策略,该模型不仅能准确评判文本质量,还能在医疗、金融等专业领域表现出色。研究团队将模型完全开源,为AI评估技术的普及和发展做出贡献。