近日,NVIDIA 发布了 NVIDIA DOCA SDK,这是一种集数据中心功能于芯片的架构,可助力开发者轻松地对 BlueField DPU 进行编程。
现代数据中心是由软件定义的敏捷数据中心,专为从云到边缘的高度分布式工作负载而构建。但是,传统的软件定义的数据中心方式会带来巨大的性能负担,轻而易举就能消耗掉 30% 或更多的服务器 CPU内 核。为解决这一问题,NVIDIA BlueField 数据处理器 (DPU) 在突破性地支持网络、安全和存储高性能的同时,还可以很好地实现卸载、加速和隔离等数据中心必须的设施服务。
DOCA 利用 BlueField DPU 实现数据中心创新
通过 BlueField-2 DPU 和 DOCA,客户能够将其数据中心转变为先进的虚拟私有云,不仅可实现加速、具有完全编程性且安全可靠,还提供了公有云的可扩展性。借助 DOCA,开发者能够利用行业标准 API 在 NVIDIA DPU 上快速创建应用程序和服务,从而实现数据中心的创新。结合使用 DOCA 和 BlueField-2 DPU 可在全面、开放的开发平台上开发具有突破性和高性能的网络、安全和存储应用程序。在 DOCA 和 BlueField-2 上开发的应用程序会将数据中心基础服务与应用程序隔离开来,这会显著提升应用程序的性能、安全性和效率。DOCA的发布给开发者提供了构建更安全和硬件加速的数据中心所需的工具。
DOCA 还支持 BlueField DPU 为所有服务器的数据流量生成带有时间标记的遥测数据。这样,每台服务器可以作为网络分流器来进行流量镜像,也可以监控所选的部分或所有的数据流量。这种强大的CPU 零负载遥测技术可创建时间同步的数据中心来提高安全性,也是优化数据中心分布式架构性能的理想之选。
DOCA 支持在整个数据中心内配置、更新和监控数百甚至上千个 DPU。现在,每个服务器都可尽享基于DPU的对网络、安全、存储和基础设施服务的硬件卸载、加速和隔离的优势。
DOCA 可将数据中心基础设施服务卸载到 BlueField DPU 之中,从而释放内核,使得 CPU 能完全用于业务应用程序。DOCA 实现了这些硬件加速功能,提供相当于 30 多个 CPU 内核的性能,因此提高了效率并大幅节省了服务器成本。
此外,DPU 还在应用程序处理域之外创建了一个独立的数据中心基础设施服务域。如果主机遭受入侵,安全控制代理与被入侵主机之间的隔离层可防止攻击扩散至整个数据中心。
最后,DPU 可解耦应用程序对基础设施服务的依赖。通常,应用程序的依赖性让操作系统的内核升级非常困难, IT 管理员不得不手动执行。解耦了基础设施服务和应用程序后,云管理员将可以自动执行数据中心安全更新。
DOCA简化了编程之旅, 开发者可以利用 API、库和示例代码来创建程序框架,对 DPU 上运行的加速应用程序进行编程,从而带来了出色的效率和性能。借助 DOCA SDK,应用程序开发者能够立即开始构建 DPU 应用程序;由于其具有支持多代DPU的特性,因此开发者可以确信,当前开发的应用程序在以后所有的 BlueField 后代产品上都可以运行并具有更多硬件升级提供的性能优势。
最后,随着合作伙伴 DPU 和 DOCA 生态系统迅速增长,我们将可以从当今的行业领跑者那里获得最出色的网络、安全和存储应用程序。
DOCA 1.0 版本支持以下内容:
支持 DOCA 的 NVIDIA SDK Manager包含
DOCA 基于开放的 API,如用于网络和安全的 DPDK, 和用于存储的 UCX RDMA 和 SPDK。它完全兼容所有主要操作系统和服务器虚拟化平台。使用 DOCA 编写的应用程序可在 BlueField-2 和后续推出的 NVIDIA DPU 上无缝运行。
好文章,需要你的鼓励
这项研究介绍了VisCoder,一个经过专门微调的大语言模型,用于生成可执行的Python可视化代码。研究团队创建了包含20万样本的VisCode-200K数据集,结合了可执行代码示例和多轮修正对话。在PandasPlotBench基准测试中,VisCoder显著优于同等规模的开源模型,甚至在某些方面超越了GPT-4o-mini。研究还引入了自我调试评估模式,证明了反馈驱动学习对提高代码可执行性和视觉准确性的重要性。
这项研究提出了"适应再连续学习"(ACL)框架,一种创新的方法解决预训练模型在连续学习中的稳定性-可塑性困境。通过在学习新任务前先对模型进行适应性调整,ACL使模型既能更好地学习新知识(提高可塑性),又能保留已有知识(维持稳定性)。实验证明,该框架能显著提升各种连续学习方法的性能,为解决人工智能系统中的"灾难性遗忘"问题提供了有效途径。
这篇研究首次关注了CLIP模型文本编码器的对抗鲁棒性问题,提出了LEAF方法(Levenshtein高效对抗性微调)来增强文本编码器的稳健性。实验表明,LEAF显著提高了模型在面对文本扰动时的性能,在AG-News数据集上将对抗准确率从44.5%提升至63.3%。当集成到Stable Diffusion等文本到图像生成模型中时,LEAF显著提高了对抗噪声下的生成质量;在多模态检索任务中,它平均提高了10个百分点的召回率。此外,LEAF还增强了模型的可解释性,使文本嵌入的反演更加准确。
BenchHub是由韩国KAIST和Yonsei大学研究团队开发的统一评估平台,整合了38个基准中的30万个问题,按技能、学科和目标类型进行精细分类。研究显示现有评估基准存在领域分布偏差,而BenchHub通过自动分类系统和用户友好界面,让用户能根据特定需求筛选评估数据。实验证明模型在不同领域的排名差异巨大,强调了定制化评估的重要性。该平台支持多语言扩展和领域特化,为研究人员和开发者提供了灵活评估大语言模型的强大工具。