全球计算机制造领导厂商采用NVIDIA EGX平台,推出GPU边缘计算服务器,为电信、医疗健康、制造、零售、交通运输的实时数据流带来即时AI
台北——台北电脑展——2019年5月27日——NVIDIA今日宣布推出NVIDIA EGX加速计算平台,能够帮助企业在边缘(edge)实现低延迟的人工智能,即基于5G基站、仓库、零售商店、工厂及其他地点之间的连续的数据流实现实时感知、理解和执行。
NVIDIA EGX旨在满足对即时、高吞吐量的边缘人工智能,即数据产生之处不断增长的需求,在确保反馈时间的同时能够减少需要发送至云端的数据量。
2025年,预计将会有1500亿台机器传感器和物联网设备持续输出数据 ,这比当今使用智能手机的个人用户所产生的数据要高出几个数量级。像基于NVIDIA EGX平台这样的边缘服务器将分布在全球各地,对来自这些传感器的数据进行实时处理。
NVIDIA副总裁兼企业与边缘计算总经理Bob Pette表示: “企业需要更加强大的边缘计算能力,以处理来自于与客户和设施的无数交互中产生的海量原始数据,从而快速制定人工智能增强型决策以驱动业务发展。像NVIDIA EGX这样具有可扩展性的平台让他们能够轻松地部署系统,以满足本地或云端的需求” 。
EGX可从仅需几瓦就能为图像识别等任务提供0.5TOPS处理性能的小巧NVIDIA Jetson Nano,一直扩展至可为实时语音识别和其他实时人工智能任务提供10000TOPS性能的整机架NVIDIA T4服务器。
NVIDIA已与红帽开展合作,利用领先的企业级Kubernetes容器编排平台OpenShift对NVIDIA Edge Stack进行集成和优化。
NVIDIA Edge Stack是优化型软件堆栈,包括NVIDIA驱动程序、CUDA Kubernetes插件、CUDA容器运行时、CUDA-X库和容器化人工智能框架及应用程序,并包括TensorRT、TensorRT推理服务器和DeepStream。NVIDIA Edge Stack针对经认证的服务器进行了优化,可通过NVIDIA NGC注册下载。
红帽首席技术官Chris Wright表示:“红帽致力于为从混合云到边缘的任何工作负载、封装和位置提供一致的体验。通过将红帽OpenShift和支持NVIDIA EGX的平台相结合,客户能够在一致、高性能、以容器为中心的环境中更好地优化其分布式操作。”
EGX将一系列的NVIDIA人工智能计算技术与红帽OpenShift相结合,并将NVIDIA Edge Stack与Mellanox和思科的安全、网络和存储技术相结合,以助力制造、零售、医疗健康和交通运输等大型产业内的公司快速建立最先进且安全的企业级人工智能基础设施。
Mellanox Technologies首席技术官Michael Kagan表示:“Mellanox Smart NICs和交换机为数据访问提供了理想的I/O连接,可实现边缘乃至超大规模数据中心的数据访问。高性能、低延迟和加速网络的组合实现了一种全新的基础架构计算层,其对于NVIDIA EGX等边缘平台上的新一代更先进的人工智能解决方案所需的高效数据访问和供给至关重要。”
思科计算系统副总裁Kaustubh Das表示:“思科很高兴与NVIDIA合作。借助NVIDIA EGX赋力的思科平台,和思科计算、结构、存储和管理软件,以及思科领先的以太网和基于IP的网络技术,我们能够为客户提供从边缘到核心的全栈解决方案。”
NVIDIA人工智能计算通过主要的云服务平台提供,在架构上与NVIDIA EGX兼容。在云端开发的人工智能应用程序可在NVIDIA EGX上运行,反之亦然。NVIDIA Edge Stack可连接至主要的云IoT服务,客户可通过AWS IoT Greengrass和Microsoft Azure IoT Edge对其服务进行远程管理。
Azure IoT Edge总监Sam George表示:“Azure IoT Edge可助力客户快速、安全地将云服务部署至其物联网设备。我们期待在Azure IoT Edge设备端提供对NVIDIA EGX边缘平台的支持,以便客户针对兼容EGX的硬件进行人工智能工作负载的部署。”
NVIDIA EGX正致力于优化边缘人工智能,以支持不断成长的软件解决方案生态系统。
这些解决方案包括AnyVision、DeepVision、IronYun和码隆科技等软件供应商推出的适用于大型零售连锁店和城市智能等视频分析应用程序,以及图玛深维、推想科技、Qunatib和Subtle Medical等公司针对医疗健康领域的软件产品。
EGX服务器现已通过以下全球企业级计算提供商供货:ATOS、思科、戴尔EMC、富士通、HPE、浪潮和联想。此外,也通过以下主要服务器和IoT系统制造商供货:Abaco、宏碁、凌华科技、研华科技、ASRock Rack、华硕、圆刚科技、Cloudian、Connect Tech、Curtiss-Wright、技嘉科技、Leetop、米文动力、Musashi Seimitsu、QCT、中科曙光、超微、泰安、WiBase和纬颖科技。
NVIDIA EGX服务器针对NVIDIA Edge Stack和NGC-Ready进行了调优,经过CUDA加速容器的验证。
率先采用该平台的行业领先企业及组织已超过40家。
其中就包括BMW Group Logistics。借助于NVIDIA EGX边缘计算和Isaac机器人平台,其能够将人工智能的强大功能直接带入到其物流流程的边缘,为日益复杂的物流提供实时效率。
其它采用EGX的行业领导者还包括:
好文章,需要你的鼓励
这项研究介绍了SweEval,一个新型基准测试,用于评估大型语言模型在企业环境中处理脏话的能力。研究团队从Oracle AI等多家机构的专家创建了一个包含八种语言的测试集,模拟不同语调和上下文的真实场景。实验结果显示,LLM在英语中较少使用脏话,但在印地语等低资源语言中更易受影响。研究还发现较大模型通常表现更好,且多语言模型如Llama系列在处理不当提示方面优于其他模型。这项工作对企业采用AI技术时的安全考量提供了重要参考。
这项研究提出了"VeriFree"——一种不需要验证器的方法,可以增强大型语言模型(LLM)的通用推理能力。传统方法如DeepSeek-R1-Zero需要验证答案正确性,限制了其在数学和编程以外领域的应用。VeriFree巧妙地计算正确答案在模型生成的推理过程后出现的概率,作为评估和训练信号。实验表明,这种方法不仅能匹配甚至超越基于验证器的方法,还大幅降低了计算资源需求,同时消除了"奖励黑客"问题。这一突破将有助于开发出在化学、医疗、法律等广泛领域具有更强推理能力的AI系统。
这项研究提出了"思想家"(Thinker)任务,一种受人类双重加工理论启发的新型AI训练方法。研究者将问答过程分解为四个阶段:快速思考(严格预算下给出初步答案)、验证(评估初步答案)、慢速思考(深入分析修正错误)和总结(提炼关键步骤)。实验表明,该方法使Qwen2.5-1.5B模型的准确率从24.9%提升至27.9%,DeepSeek-R1-Qwen-1.5B模型从45.9%提升至49.8%。显著的是,仅使用快速思考模式就能达到26.8%的准确率,且消耗更少计算资源,证明了直觉与深度推理作为互补系统的培养价值。
这项由ELLIS研究所和马克斯·普朗克智能系统研究所的科学家进行的研究,揭示了大语言模型安全测试的根本规律:越狱攻击成功率由攻击者与目标模型间的能力差距决定。通过评估500多个攻击者-目标组合,研究团队发现:更强的模型是更好的攻击者;当目标能力超过攻击者时攻击成功率急剧下降;社会科学能力比STEM知识更能预测攻击成功。基于这些发现,研究者建立了预测模型,表明随着AI进步,人类红队测试可能逐渐失效,提示需要发展自动化安全评估方法及更全面地评估模型的说服和操纵能力。