Arm宣布推出Cortex-R82,该芯片旨在支持可以同时保存数据和处理数据的新一代存储设备。
这种新型硬件称为计算存储,有助于为延迟敏感型工作负载(例如机器学习和实时分析应用)提升速度。
通常来说,存储数据和处理数据的任务被分配给系统内部的单独组件去完成,磁盘或闪存驱动器用于保留信息,单独的处理器用于处理信息,每次执行操作的时候,数据都必须从存储驱动器传输到处理器,然后再返回,这个过程会导致一定的延迟,从而降低性能。
这种新型计算存储设备的目标是消除这个过程中的延迟,以加快应用的速度。存储驱动器使用内置控制器在本地处理器信息,而不是将信息发送到单独的芯片进行处理。控制器是闪存和磁盘驱动器中的一个微型计算模块,通常只用于执行低级别任务,例如写入数据和读取数据。
Arm此次新推出的Cortex-R82将被用作计算存储设备的控制器,即可以作为芯片设计提供,硬件制造商也可以根据需要进行许可和定制。
Arm称,Cortex-R82最多可以配置8个处理核心,其性能是上一代R8产品的2倍,计算能力的提升让Cortex-R82可以直接在存储驱动器内部运行完整的Linux发行版和应用。
那些计划在存储驱动器上运行机器学习模型的企业,可以通过为Cortex-R82配备Arm Neon机器学习技术来获得更高的性能。Arm表示,与上一代R8相比,Neon将神经网络的性能提高了14倍。
计算存储硬件有许多潜在的应用场景。例如,一家建筑企业可以在建筑工地部署安全摄像头,使用运行在内部闪存驱动器上的AI模型,发现潜在的危险。Arm也列出了一些更为传统的数据中心使用场景,例如数据库加速、视频转码和实时分析。
好文章,需要你的鼓励
企业谈AI基础设施时,注意力往往首先集中在模型、GPU和算力集群上。但当大模型应用走向规模化推理,一个瓶颈开始浮现:算力采购完成,并不意味着Token能够被稳定、低成本、可控地交付出去。
STATE16研究院这篇综述发现,物理AI系统存在"静默失效"风险——AI以高度自信执行基于错误世界信息的动作,却不触发任何报警,并提出在AI输出与物理执行之间建立独立授权层的框架。
穆拉蒂时隔18个月首次接受重大媒体采访,介绍其创立的Thinking Machines Lab正在开发的"交互模型"。该模型能以200毫秒间隔处理音频、文本和视频流,捕捉人类交流中的中断、修正和停顿。她还谈及OpenAI"政变周"经历,强调行业决策权过于集中的担忧,并回应了公司近期研究人员离职问题,表示这是初创实验室的正常波动。
UIUC与微软联合研发的OpenWebRL框架让4B小模型仅凭400条初始数据,通过在真实网站上边做边学的强化学习方式,在网页智能体基准上超越了用27万条数据训练的竞争对手。