作者:Arm 开源软件副总裁 Mark Hambleton
Arm 和我们的生态系统的关键信念之一是与开源社区合作,共创一个高度发达的 Arm 架构,使软件的落地更加稳定,从而让全球数百万开发者能够测试并创建自己的应用。
为此,Arm 支持了数千个开源项目,涵盖从云到边缘及端点的所有细分市场,近期我们扩大了在全球开源社区的合作伙伴关系和投入。无论是与 Linaro 的长期合作,还是在开源 GPU 驱动程序上的持续开发,Arm 致力于赋能各行各业的开发者,使他们能获取所需的工具和支持,进而能更加轻松、简单、快速地在基于 Arm 技术上创建安全的软件。
为开源 GPU 驱动程序扩大合作
随着搭载 Arm GPU 的芯片出货量已累计达到 90 亿颗,需要专用图形处理功能的应用产品正持续增长。因此,借助替代性的开源软件栈来支持最新的 Arm GPU,这项需求油然而生,并可同时满足 Linux 开发者及更广泛开源社区的需求。
在认识到这项工作的重要性后,Arm 今日宣布将扩大与行业领先的开源贡献者和服务提供商 Collabora 的合作伙伴关系,双方将基于 Collabora 的开源 Mali GPU 驱动程序展开合作。Arm 与 Collabora 的伙伴关系始于 2020 年,当时 Arm 为开源 Mali 驱动程序栈提供支持,之后又扩展到 Collabora 的 Panfrost GPU 驱动程序,以支持 Arm 新一代的 Mali GPU。Panfrost GPU 驱动程序包含了全上游的 Linux 内核驱动程序和全开源的 Mesa 用户空间驱动程序。
这项发布表明了 Arm 将支持 Panfrost GPU 驱动程序的进一步开发,从而确保 Panfrost 开源软件能够支持最新的 Mali GPU 和更广泛的 Arm 软件生态系统,同时不断提升 Linux 内核驱动程序和 Mesa 用户空间驱动程序的性能。
Collabora 图形主管 Daniel Stone 表示:“Collabora 对 Panfrost 的投入体现了我们对创建一个健康且有竞争力的开源生态系统的信念和承诺。我们很高兴能与 Arm 继续合作,确保能向整个开源社区提供有关 Mali 的一流支持。”
通过 Arm 与 Collabora 的合作,设备制造商再也无须顾及软件操作系统和图形中间件的选择,而能放心地选择搭载 Mali GPU 的芯片。为此,除了 Arm 已经提供的直接技术支持外,设备制造商还可以在其产品中获取一项高质量的开源 Linux 实现方案。实际上,Panfrost 是目前 Linux 社区重要的 GPU 驱动程序。
Linaro 为开发者提供更多可访问性
确保开源开发者社区能够获得广泛的工具对 Arm 来说至关重要。我们不断与 Linaro 在各个项目上保持密切合作,包括成立一个 Windows 工作组,以开发 Windows on Arm 常用工具和软件包,如 Python、Electron、Chromium 嵌入式框架、LLVM、Qt 和 Bazel。
2023 年初,我们还启动了首个 SOAFEE 集成实验室,支持项目成员验证自己基于 SOAFEE 架构的实现方案。SOAFEE 是一个基于开放标准的软件定义汽车架构。与 Linaro 和广大的成员合作使我们能够继续将与 Arm 相关的软件需求添加到开源环境中,便于全球开发者访问。随着Linaro 被列为 Linux 内核的前十大贡献者之一,且在过去两年中,40 个 Arm 开源项目共提交了 47,000 个补丁,这项工作对开源社区意义重大。
对 Python 提供开源支持
为进一步展现我们对开源开发者社区的深度投入,在 2023 EuroPython 大会上,Arm 展示了支持全球最常用的嵌入式语言之一 Python 的最新成果。展会上,Arm 首席软件工程师 Diego Russo 演示了在各种基于 Arm 技术及所有主要操作系统中使用 Python 的最新场景,包括在云中及 Windows on Arm 笔记本电脑设备上为 Python 应用提供理想性能,而这些都离不开开源社区的持续努力。目前 Arm 也发布了很多可用来简化 Python 开发过程的新指南。
Arm 助力嵌入式软件运行
随着开发者要面对的软件复杂性日益升高,Arm 正与当代软件开发的领导者合作,加速工作流并使嵌入式设备更易于访问。随着Arm 持续推进通用微控制器软件接口标准(CMSIS)的开发,其最新的 CMSIS 版本将成为开源版本。CMSIS 通过广泛的开发工具对软件、设备和开发板提供一致的支持,定义了嵌入式软件在 Arm 上的运行方式,目前已支持超过一万多个设备和 450 多个开发板。CMSIS 6 版本为软件开发者提供了更加清晰简单的结构,同时还增加了新的组件(CMSIS-View 和 CMSIS-Stream),旨在帮助用户缩短各种嵌入式应用程序的开发时间。
Arm RAN 加速库移入开源代码库
作为 Arm 致力推进全球 5G 部署增长的计划之一,Arm 近期宣布将其 RAN 加速库 (RAN Acceleration Library, RAL) 移入开源代码库。这意味着软件开发者可以不受任何限制地使用、修改和分发 RAL 代码,同时还可以通过添加新的功能为软件库的开发和扩展做出贡献。此外,这也有助于加速基于 Arm Neoverse 平台的 5G RAN 解决方案的开发和部署。迄今为止,Arm 5G 生态系统中已经有 100 多家公司使用了 Arm RAL 来开发其 5G 基础设施解决方案,包括 OEM/ODM 厂商、独立软件开发商(ISV)和系统集成商。
基于Arm 的开源软件生态
Arm 的开源工作全方位覆盖了全球技术生态系统,从 5G 基础设施和软件定义汽车,到移动端和嵌入式设备。支持全球开源社区是确保软件在基于 Arm 技术硬件上“开机即用(just work)”的重要环节。我们将继续投入大量工程人时来支持开源项目,并扩大开源合作伙伴关系,为全球软件开发者提供更多的访问机会和更优的性能资源,从而形成一个在 Arm 架构上构建和运行的开源环境。
好文章,需要你的鼓励
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
大模型时代,玛丽·米克尔(Mary Meeker)的名字可能大家不一定熟悉,但是在互联网时代,这位被可被誉为“互联网女皇”的。她是美国风险投资家和前华尔街证券分析师,专注于互联网及新兴技术领域。玛丽·米克尔(Mary Meeker)发了一份340页的《人工智能趋势报告》,粗粗看了一下,并没有非常轰动的观点,但是数据比较全面
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。