生成式AI的浪潮席卷各行各业,企业纷纷拥抱生成式AI,但是要支撑生成式AI,企业在基础设施层面需要进行大量投入。
为了加速企业就绪的生成式AI,在近日举行的戴尔科技集团全球大会和微软Build大会上,NVIDIA与戴尔、微软合作提供了针对性的解决方案,这些方案覆盖云到端,让企业能够快速部署生成式AI。
01 用于安全、本地化部署生成式AI的Project Helix
处于安全性的考虑,企业对于生成式AI模型的部署需要实现本地化构建。基于这样的客户诉求,戴尔与NVIDIA推出Project Helix合作项目,其基于戴尔和NVIDIA的基础设施与软件打造。
Project Helix支持从基础设施配置、建模、训练、微调、应用开发和部署一直到部署推理和精简结果等整个生成式AI的生命周期。
其中Dell PowerEdge服务器如PowerEdge XE9680和PowerEdge R760xa,与NVIDIA H100 Tensor Core GPU和NVIDIA Networking一起,并与Dell PowerScale和Dell ECS Enterprise Object Storage等具有弹性、可扩展的非结构化数据存储搭配使用。
Project Helix包含NVIDIA AI Enterprise 软件,为客户提供用于整个AI生命周期的工具。NVIDIA AI Enterprise包含100多个框架、预训练模型和开发工具,例如用于构建生成式AI聊天机器人的 NVIDIA NeMo大型语言模型框架与NeMo Guardrails软件。
Project Helix还将安全和隐私功能内置在基础组件中,如 Secured Component Verification。在本地保护数据可以降低固有风险,帮助企业满足监管要求。
自2023年7月起,基于Project Helix项目的Dell Validated Designs将通过传统渠道和APEX灵活的消费选项提供。
02 NVIDIA AI Enterprise与Azure机器学习集成,提供端到端云平台
除了本地化部署,云端部署也是生成式AI的重要方式,OpenAI的ChatGPT就是运行在微软的Azure云中。
现在,企业也可以享受到这样的服务了。因为NVIDIA AI Enterprise软件套件和Azure机器学习相结合,为企业加快其AI计划从开发到生产提供了一个直接、高效的路径。
通过Azure机器学习上集成的NVIDIA AI Enterprise,用户还能够访问最高性能的NVIDIA加速计算资源,以加快AI模型的训练和推理。
借助Azure机器学习,开发人员可以轻松地扩展应用——从测试到大规模部署,同时使用Azure机器学习的数据加密、访问控制和合规认证可满足安全要求并符合其组织策略要求。借助安全、生产就绪的AI功能,NVIDIA AI Enterprise与Azure机器学习形成互补,同时还包括NVIDIA专家的帮助和支持。
NVIDIA AI Enterprise包含100多个框架、预训练模型和开发工具,例如用于加速数据科学负载的NVIDIA RAPIDS,NVIDIA Metropolis可加速视觉AI模型开发,而NVIDIA Triton Inference Server则支持企业实现标准化的模型部署和执行。
NVIDIA AI Enterprise与Azure机器学习的集成目前为有限技术预览版,能通过在NVIDIA社区中注册获得。
NVIDIA AI Enterprise还可在Azure Marketplace上使用,为全球企业提供了一个强大的全面安全和完全支持的AI开发和部署的新选项。
03 在PC设备上部署先进的AI模型
我们知道AI模型对于算力的要求非常高,普通的移动设备是无法承载的。但是微软与NVIDIA合作,发布在Windows PC上开发AI的工具、优化和部署AI的框架,使开发人员能够以生成式AI为核心来构建下一代Windows应用。
AI开发通常是在Linux上运行,NVIDIA与微软密切合作,为适用于Linux的Windows子系统(WSL)内部的整个NVIDIA AI软件堆栈提供GPU加速和支持。开发人员现在可以使用Windows PC来满足所有本地AI开发需求,并支持GPU加速的WSL深度学习框架。
NVIDIA RTX GPU在台式机工作站中提供高达48GB的显存,开发人员现在可以在Windows上处理以前只能在服务器上处理的模型。大显存还提高了AI模型本地微调的性能和质量,使设计师能够根据自己的风格或内容进行定制。
更为重要的是本地运行的NVIDIA AI软件堆栈与云端是同构的,开发人员因此可以轻松将模型推送到微软Azure云上进行大规模训练。
微软还发布了Microsoft Olive工具链,用于优化PyTorch模型并将其转换到ONNX,使开发人员能够自动利用RTX Tensor Core等GPU硬件加速。
开发人员可以通过Olive和ONNX优化模型,并将Tensor Core加速的模型部署到PC或云端。微软将继续投资,使PyTorch及相关工具和框架与WSL无缝协作,从而提供最佳的AI模型开发体验。
RTX Tensor Core为AI推理提供高达1400的Tensor TFLOPS(万亿次浮点运算)。过去一年,NVIDIA一直致力于提升DirectML的性能,以便充分利用RTX硬件的优势。
NVIDIA将在532.03版驱动中发布最新的优化,与Olive优化的模型相结合,大幅提升AI性能。使用Olive优化版Stable Diffusion文本-图像转换器以及受欢迎的Automatic1111发行版,新驱动程序的性能提高了2倍以上。
随着AI即将进入几乎所有Windows应用,提供节能的推理性能变得至关重要——尤其对于笔记本电脑来说。NVIDIA即将推出新的Max-Q低功耗推理,用于RTX GPU上的纯AI工作负载。它在优化Tensor Core性能的同时尽可能地降低GPU的功耗,延长电池续航时间,并使系统保持出色的散热和降噪表现。根据负载需要,GPU可以动态地扩展,以提供最高的AI性能。
NVIDIA和微软正在为开发人员提供一些资源,以便在Windows PC上测试主要的生成式AI模型。Hugging Face上提供了一个Olive优化版的Dolly 2.0大语言模型。此外,用于对话式AI的NVIDIA NeMo大型语言模型的PC优化版也即将在Hugging Face上线。
总之,通过微软Windows平台和NVIDIA动态AI硬件和软件堆栈背后的互补技术,开发人员将能够在Windows 11上快速、轻松地开发并部署生成式AI。
好文章,需要你的鼓励
最新数据显示,Windows 11市场份额已达50.24%,首次超越Windows 10的46.84%。这一转变主要源于Windows 10即将于2025年10月14日结束支持,企业用户加速迁移。一年前Windows 10份额还高达66.04%,而Windows 11仅为29.75%。企业多采用分批迁移策略,部分选择付费延长支持或转向Windows 365。硬件销售受限,AI PC等高端产品销量平平,市场份额提升更多来自系统升级而非新设备采购。
清华大学团队开发出LangScene-X系统,仅需两张照片就能重建完整的3D语言场景。该系统通过TriMap视频扩散模型生成RGB图像、法线图和语义图,配合语言量化压缩器实现高效特征处理,最终构建可进行自然语言查询的三维空间。实验显示其准确率比现有方法提高10-30%,为VR/AR、机器人导航、智能搜索等应用提供了新的技术路径。
新一代液态基础模型突破传统变换器架构,能耗降低10-20倍,可直接在手机等边缘设备运行。该技术基于线虫大脑结构开发,支持离线运行,无需云服务和数据中心基础设施。在性能基准测试中已超越同等规模的Meta Llama和微软Phi模型,为企业级应用和边缘计算提供低成本、高性能解决方案,在隐私保护、安全性和低延迟方面具有显著优势。
IntelliGen AI推出IntFold可控蛋白质结构预测模型,不仅达到AlphaFold 3同等精度,更具备独特的"可控性"特征。该系统能根据需求定制预测特定蛋白质状态,在药物结合亲和力预测等关键应用中表现突出。通过模块化适配器设计,IntFold可高效适应不同任务而无需重新训练,为精准医学和药物发现开辟了新路径。