计算和人工智能正在推动现代数据中心架构的根本性改变。正如GPU加速解决方案改变了数据科学和人工智能一样, DPU现在正在改变数据中心的架构,它可以运行下一波的新型应用。
在近日举行的NVIDIA GTC活动上,NVIDIA推出多款面向网络的创新产品,包括DOCA 1.2与Quantum-2平台,从而构建更先进的软件定义、硬件加速的数据中心。
DOCA 1.2实现深度零信任保护
随着AI、5G和智能设备等革命性创新的增长,如今数据中心面临快速增长的用户、应用和数据流量,安全的问题不断涌现,企业在缺乏零信任保护模式的情况下,极易受到攻击。
数据中心的建设者和创新者面临的挑战是如何满足不断增长的规模和性能需求,同时要保护数据的机密性。为了应对这些挑战, NVIDIA DOCA框架提供了一个面向NVIDIA BlueField DPU编程的完整SDK和加速数据中心服务的运行时包。
NVIDIA正式发布NVIDIA DOCA 1.2,支持开发者构建基于NVIDIA BlueField DPU的应用。
DOCA提供了零信任安全框架,此框架可以帮助开发者实现网络安全即服务——将数据中心安全防护扩展到用户涉及的应用、数据、设备、存储、基础架构等几乎每个关键点。
借助DOCA 1.2零信任安全框架,开发者可以建立量化的云服务控制资源访问、验证每个用户和应用、隔离可能受到影响的机器并保护数据免遭破坏和盗窃。
DOCA 1.2提供的其他高级零信任安全功能包括软件和硬件认证、硬件加速的线速数据加密、对分布式防火墙和智能遥测的支持,以及策略执行,如基于角色的访问控制和微服务、租户之间的安全隔离等,所有这些都可以作为容器部署,方便开发者使用。
除此以外,DOCA 1.2还与NVIDIA Morpheus实现了联动。NVIDIA Morpheus将AI处理能力和数据中心内对每个数据包的实时监控相结合,让安全团队对安全威胁清晰可见。借助这一框架,安全团队能够对异常情况即刻做出响应,并在发现威胁时立即更新策略。
DOCA 1.2零信任安全框架是驱动NVIDIA BlueField DPU的基础软件。如同CUDA之于GPU,DOCA是NVIDIA面向BlueField DPU量身打造了一个软件开发套件,借助DOCA创建的应用程序和服务将具有高性能、软件定义、云原生等特性,并使用DPU加速,能够满足现代数据中心日益增长的性能和安全需求。
目前,首批使用BlueField DPU和DOCA的是Juniper Networks和Palo Alto Networks,其中Palo Alto Networks VM-Series新一代虚拟防火墙具有智能流量卸载(ITO)功能,其智能筛选需要接受完整安全策略审查和追踪的相关网络流量,其他网络流量则可以卸载到BlueField DPU上面。
新一代InfiniBand网络平台加速云计算和超级计算融合
除了安全方面,NVIDIA还推出了新一代InfiniBand网络平台,其包括NVIDIA Quantum-2交换机、ConnectX-7网卡、BlueField-3数据处理器DPU和所有支持新框架的软件。
NVIDIA Quantum-2平台能够帮助云计算提供商和超级计算中心实现云和超算的融合,凭借其云原生技术,这款产品能够提供每秒400Gb/s的高吞吐量及先进的多租户支持功能,将网速提高了一倍,网络端口数量增加了三倍。它在性能提升3倍的同时,还将数据中心网络所需的交换机数量减少了6倍,与此同时,数据中心的能耗和空间各减少量7%。
NVIDIA Quantum-2平台还实现了多租户的性能隔离,确保可靠的数据吞吐量,不受用户或者应用需求高峰的影响;NVIDIA Quantum-2 SHARP v3网格计算技术可为AI应用提供超出上一代产品32倍的加速引擎能力,借助NVIDIA UFM Cyber-AI平台,提供网络管理能力,包括预测性维护等;集成纳秒级精度的时钟系统可以同步分布式应用,减少等待及空闲时间。
Quantum-2平台的核心是全新的Quantum-2 InfiniBand交换机,其具备64个400Gbps端口或者128个200Gbps端口,交换能力超出上一代Quantum-1约5倍。
此外,NVIDIA Quantum-2平台在主机端提供了两个网络选项,NVIDIA ConnectX-7网卡和NVIDIA BlueField-3 DPU InfiniBand。其中,ConnectX-7基于7纳米工艺设计,包含80亿个晶体管,其传输速率是上一代产品ConnectX-6的两倍,还使RDMA、GPUDirect Storage、GPUDirect RDMA和网络计算的性能翻倍;NVIDIA BlueField-3 DPU也是采用7纳米工艺设计,包含220亿个晶体管,提供16个64位的Arm CPU。
结语
不管是DOCA 1.2还是Quantum-2平台,NVIDIA不断创新网络,特别是围绕DPU,NVIDIA正在积极构建全面的技术生态,持续赋能数据中心架构的革新。
好文章,需要你的鼓励
这项研究介绍了VisCoder,一个经过专门微调的大语言模型,用于生成可执行的Python可视化代码。研究团队创建了包含20万样本的VisCode-200K数据集,结合了可执行代码示例和多轮修正对话。在PandasPlotBench基准测试中,VisCoder显著优于同等规模的开源模型,甚至在某些方面超越了GPT-4o-mini。研究还引入了自我调试评估模式,证明了反馈驱动学习对提高代码可执行性和视觉准确性的重要性。
这项研究提出了"适应再连续学习"(ACL)框架,一种创新的方法解决预训练模型在连续学习中的稳定性-可塑性困境。通过在学习新任务前先对模型进行适应性调整,ACL使模型既能更好地学习新知识(提高可塑性),又能保留已有知识(维持稳定性)。实验证明,该框架能显著提升各种连续学习方法的性能,为解决人工智能系统中的"灾难性遗忘"问题提供了有效途径。
这篇研究首次关注了CLIP模型文本编码器的对抗鲁棒性问题,提出了LEAF方法(Levenshtein高效对抗性微调)来增强文本编码器的稳健性。实验表明,LEAF显著提高了模型在面对文本扰动时的性能,在AG-News数据集上将对抗准确率从44.5%提升至63.3%。当集成到Stable Diffusion等文本到图像生成模型中时,LEAF显著提高了对抗噪声下的生成质量;在多模态检索任务中,它平均提高了10个百分点的召回率。此外,LEAF还增强了模型的可解释性,使文本嵌入的反演更加准确。
BenchHub是由韩国KAIST和Yonsei大学研究团队开发的统一评估平台,整合了38个基准中的30万个问题,按技能、学科和目标类型进行精细分类。研究显示现有评估基准存在领域分布偏差,而BenchHub通过自动分类系统和用户友好界面,让用户能根据特定需求筛选评估数据。实验证明模型在不同领域的排名差异巨大,强调了定制化评估的重要性。该平台支持多语言扩展和领域特化,为研究人员和开发者提供了灵活评估大语言模型的强大工具。