全球计算机制造领导厂商采用NVIDIA EGX平台,推出GPU边缘计算服务器,为电信、医疗健康、制造、零售、交通运输的实时数据流带来即时AI
台北——台北电脑展——2019年5月27日——NVIDIA今日宣布推出NVIDIA EGX加速计算平台,能够帮助企业在边缘(edge)实现低延迟的人工智能,即基于5G基站、仓库、零售商店、工厂及其他地点之间的连续的数据流实现实时感知、理解和执行。
NVIDIA EGX旨在满足对即时、高吞吐量的边缘人工智能,即数据产生之处不断增长的需求,在确保反馈时间的同时能够减少需要发送至云端的数据量。
2025年,预计将会有1500亿台机器传感器和物联网设备持续输出数据 ,这比当今使用智能手机的个人用户所产生的数据要高出几个数量级。像基于NVIDIA EGX平台这样的边缘服务器将分布在全球各地,对来自这些传感器的数据进行实时处理。
NVIDIA副总裁兼企业与边缘计算总经理Bob Pette表示: “企业需要更加强大的边缘计算能力,以处理来自于与客户和设施的无数交互中产生的海量原始数据,从而快速制定人工智能增强型决策以驱动业务发展。像NVIDIA EGX这样具有可扩展性的平台让他们能够轻松地部署系统,以满足本地或云端的需求” 。
EGX可从仅需几瓦就能为图像识别等任务提供0.5TOPS处理性能的小巧NVIDIA Jetson Nano,一直扩展至可为实时语音识别和其他实时人工智能任务提供10000TOPS性能的整机架NVIDIA T4服务器。
NVIDIA已与红帽开展合作,利用领先的企业级Kubernetes容器编排平台OpenShift对NVIDIA Edge Stack进行集成和优化。
NVIDIA Edge Stack是优化型软件堆栈,包括NVIDIA驱动程序、CUDA Kubernetes插件、CUDA容器运行时、CUDA-X库和容器化人工智能框架及应用程序,并包括TensorRT、TensorRT推理服务器和DeepStream。NVIDIA Edge Stack针对经认证的服务器进行了优化,可通过NVIDIA NGC注册下载。
红帽首席技术官Chris Wright表示:“红帽致力于为从混合云到边缘的任何工作负载、封装和位置提供一致的体验。通过将红帽OpenShift和支持NVIDIA EGX的平台相结合,客户能够在一致、高性能、以容器为中心的环境中更好地优化其分布式操作。”
EGX将一系列的NVIDIA人工智能计算技术与红帽OpenShift相结合,并将NVIDIA Edge Stack与Mellanox和思科的安全、网络和存储技术相结合,以助力制造、零售、医疗健康和交通运输等大型产业内的公司快速建立最先进且安全的企业级人工智能基础设施。
Mellanox Technologies首席技术官Michael Kagan表示:“Mellanox Smart NICs和交换机为数据访问提供了理想的I/O连接,可实现边缘乃至超大规模数据中心的数据访问。高性能、低延迟和加速网络的组合实现了一种全新的基础架构计算层,其对于NVIDIA EGX等边缘平台上的新一代更先进的人工智能解决方案所需的高效数据访问和供给至关重要。”
思科计算系统副总裁Kaustubh Das表示:“思科很高兴与NVIDIA合作。借助NVIDIA EGX赋力的思科平台,和思科计算、结构、存储和管理软件,以及思科领先的以太网和基于IP的网络技术,我们能够为客户提供从边缘到核心的全栈解决方案。”
NVIDIA人工智能计算通过主要的云服务平台提供,在架构上与NVIDIA EGX兼容。在云端开发的人工智能应用程序可在NVIDIA EGX上运行,反之亦然。NVIDIA Edge Stack可连接至主要的云IoT服务,客户可通过AWS IoT Greengrass和Microsoft Azure IoT Edge对其服务进行远程管理。
Azure IoT Edge总监Sam George表示:“Azure IoT Edge可助力客户快速、安全地将云服务部署至其物联网设备。我们期待在Azure IoT Edge设备端提供对NVIDIA EGX边缘平台的支持,以便客户针对兼容EGX的硬件进行人工智能工作负载的部署。”
NVIDIA EGX正致力于优化边缘人工智能,以支持不断成长的软件解决方案生态系统。
这些解决方案包括AnyVision、DeepVision、IronYun和码隆科技等软件供应商推出的适用于大型零售连锁店和城市智能等视频分析应用程序,以及图玛深维、推想科技、Qunatib和Subtle Medical等公司针对医疗健康领域的软件产品。
EGX服务器现已通过以下全球企业级计算提供商供货:ATOS、思科、戴尔EMC、富士通、HPE、浪潮和联想。此外,也通过以下主要服务器和IoT系统制造商供货:Abaco、宏碁、凌华科技、研华科技、ASRock Rack、华硕、圆刚科技、Cloudian、Connect Tech、Curtiss-Wright、技嘉科技、Leetop、米文动力、Musashi Seimitsu、QCT、中科曙光、超微、泰安、WiBase和纬颖科技。
NVIDIA EGX服务器针对NVIDIA Edge Stack和NGC-Ready进行了调优,经过CUDA加速容器的验证。
率先采用该平台的行业领先企业及组织已超过40家。
其中就包括BMW Group Logistics。借助于NVIDIA EGX边缘计算和Isaac机器人平台,其能够将人工智能的强大功能直接带入到其物流流程的边缘,为日益复杂的物流提供实时效率。
其它采用EGX的行业领导者还包括:
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。