Meta 表示,通过使用基于开源 eBPF 项目的 Strobelight 性能分析编排套件,成功将其核心服务的 CPU 使用周期减少了 20%。
对于这家以规模化用户变现为主营业务的公司来说,这一优化意味着运营 Facebook、Instagram、WhatsApp 以及元宇宙相关业务所需的服务器数量减少了 10% 到 20%。
eBPF 目前已不再是某个缩写的代称。虽然它最初代表"扩展伯克利数据包过滤器" (extended Berkeley Packet Filter),但随着其功能范围的不断扩展,这个缩写已经超越了其最初的含义。
这个拥有独立基金会的开源软件,为 Linux (以及正在开发中的 Windows 版本) 提供了一种在操作系统内核中运行沙盒程序的方法。这使得软件能够在特权内核环境中相对安全地运行,而无需构建和插入内核模块、将软件打包为驱动程序,或重新编译内核来添加所需功能。
在内核中运行对于服务优化特别有用,尤其是在大规模系统中,微小的性能瓶颈和低效问题都可能被放大,造成重大影响。在不影响性能的前提下,跨多个系统收集数据,并确保数据在不同内核版本间保持一致性和可解释性,这绝非易事。
Meta 开发的开源工具 Strobelight 可以协调各种使用 eBPF 的性能分析应用,用于收集可观测性数据——包括系统事件日志、性能度量指标和网络连接追踪等。其目标是提高基础设施效率,从而降低成本并获得运营优势。
Meta 软件工程师 Jordan Rome 在今年一月表示:"eBPF 允许安全地将自定义代码注入内核,这使得以极低开销收集各类数据成为可能,为可观测性领域带来了无限可能,很难想象没有它 Strobelight 要如何运作。"
Strobelight 目前包含 42 个不同的性能分析应用,这个数字颇具意义。这些分析工具可以测量内存使用、函数调用次数、各种编程语言中的事件、AI GPU 使用情况、服务请求延迟等指标。
正如 eBPF 基金会最近发布的 Meta 服务器节省案例研究中所述,仅通过一个字符的代码修改,就实现了相当于每年 15,000 台服务器容量的节省。
这个字符是一个 & 符号,但对 Meta 的财务人员来说,它的价值堪比美元符号。
根据 Rome 的说法:"一位经验丰富的性能工程师在查看 Strobelight 数据时发现,通过筛选特定的 std::vector 函数调用 (使用符号化的文件和行号),他可以识别出 C++ 中使用 'auto' 关键字时无意中产生的计算成本高昂的数组复制操作。"
在发现这个代价高昂的数组复制出现在 Meta 某个主要广告服务的路径中后,这位工程师确定这个向量复制并非有意为之。于是他在 auto 关键字后添加了一个 "&",将复制操作转换为引用,通过指向数据而不是复制数据来避免不必要的数据重复。
Rome 说:"这是一个单字符的提交,部署到生产环境后,估计每年可节省相当于 15,000 台服务器的容量。"
人们不禁会想,如果使用删除字符会带来多大的节省。
好文章,需要你的鼓励
通用汽车与英伟达扩大合作,旨在将人工智能应用于汽车制造的各个方面。这项合作涵盖工厂自动化、机器人技术和自动驾驶汽车开发。英伟达将为通用汽车提供 AI 基础设施和技术支持,助力其打造下一代智能工厂、优化生产流程,并推进自动驾驶技术的发展。这一战略合作反映了汽车行业向智能化、数字化转型的趋势。
企业AI不仅要考虑推理成本和性能,还需确保模型满足严格的安全、隐私和合规要求。建立可信赖的AI系统是关键,这意味着企业除了优化成本和性能外,还需优先考虑模型的完整性和安全性。在选择基础模型时,应采用全面的评估方法,包括安全性、偏见、合规性等多个方面,而不仅仅是关注单一指标。
英伟达推出革命性的共封装光学网络解决方案,大幅提升AI数据中心性能。新技术可将光学收发器数量减少4倍,能效提高3.5倍,信号完整性提升63倍,网络弹性增加10倍,部署时间缩短1.3倍。这一突破性进展将助力数据中心满足代理型AI对计算资源的巨大需求,标志着共封装光学技术实现量产的重要里程碑。
英伟达宣布与迪士尼研究院和谷歌 DeepMind 合作开发 Newton 物理引擎,用于模拟真实环境中的机器人动作。迪士尼将率先使用 Newton 驱动其下一代娱乐机器人,如星球大战风格的 BDX 机器人。英伟达计划于 2025 年晚些时候发布 Newton 的早期开源版本。这项合作将为迪士尼主题公园带来更具表现力和精确性的机器人体验。