NVIDIA加速计算平台和Red Hat OpenShift 4联手助力加速用于AI和数据科学的本地Kubernetes部署
对于希望能够更快将GPU加速的AI和数据科学项目投入运行的企业来说,如今想实现这样的目标,更加容易了。
在近日举行的红帽峰会上,NVIDIA和红帽(Red Hat)推出了由NVIDIA GPU加速计算平台和红帽最新发布的Red Hat OpenShift 4相结合的组合产品,从而为用于AI和数据科学的Kubernetes本地部署提供加速。
成果:过去需要IT管理员耗费大半天时间才能完成的Kubernete管理任务,如今在一个小时内就能完成。
如今,越来越多企业开始依靠AI和数据科学,将大量数据转化为具有可操作性的情报,正是这样的需求催生了此项合作的诞生。
然而,真正有价值意义的AI和数据分析工作,需要通过GPU计算来加速整个企业级IT软件堆栈:从NVIDIA驱动程序到容器运行时间、再到应用程序框架,每一层的软件都需要进行优化。
NVIDIA的CUDA并行计算架构和CUDA-X加速库受到了超过120万开发者的青睐,从AI到高性能计算再到VDI,可用于加速众多领域的应用程序。
而且无论是笔记本电脑还是数据中心,亦或是在云端, NVIDIA的通用架构能够在任何你能够想象得到的计算设备上运行 ,因此对GPU加速应用程序进行投资的合理性也就显而易见了。
然而,加速AI和数据科学工作负载只是第一步。对于IT部门来说,在大型GPU加速的数据中心上以正确的方式部署优化型软件堆栈,是一件既耗时又令人头痛的事情。而这正是NVIDIA与红帽此次合作所致力解决的点。
Red Hat OpenShift是业内领先的企业级Kubernetes平台。先进的OpenShift 4能够把在集群中部署Kubernetes的工作变得前所未有的简单。特别值得一提的是红帽的Kubernetes 运算符,红帽对其投入甚多,它能够将许多例行的数据中心管理工作和应用程序生命周期管理任务转为自动化管理,从而降低管理复杂性。
NVIDIA一直在开发自己的GPU运算符,从而将早前大量需要IT经理通过shell脚本来完成的工作实现自动化,例如安装设备驱动程序,确保数据中心所有节点上都有正确的GPU容器运行时间,并监控GPU。
通过NVIDIA与红帽的合作,只要设置了集群,您只需运行GPU运算符即可将必要的依赖项添加到集群中的工作节点上,就这么简单。而且,因为它能够启动新的云资源,这让企业机构能够轻松地使用OpenShift 4来启动并运行基于GPU的数据中心群集。
在红帽峰会上,NVIDIA在1039号展台展示了如何使用OpenShift和GPU运算符来轻松设置裸机GPU集群。
此外,红帽首席技术官Chris Wright在峰会现场发表了精彩的主题演讲,NVIDIA计算软件副总裁Chris Lamb也与他同台,展示了我们的技术是如何协同工作的,并对双方的对合作展开了更进一步详细探讨。
红帽和NVIDIA诚邀我们共同的客户参与“白手套”早期试用计划。欲了解更多信息或参与早期试用访问计划的客户可在https://www.openshift.com/accelerated-ai上注册。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。