现代FGPA(现场可编程门阵列)已不仅仅是工程师可以随意定制的计算应用实时可编程芯片了。现代FPGA已经成了智能的、适应性极强的处理引擎了,这样的处理引擎对于新兴的机器学习和5G无线基础设施市场至关重要,原因是这些领域的发展和创新速度太快了。其他依靠FPGA技术推动创新的市场包括太空和卫星应用,但这两个领域在环境方面的要求则更严苛。Xilinx(赛灵思)今天宣布推出旗下新的20nm耐辐射Kintex UltraScale XQRKU060系列FPGA,该系列可望在诸多太空级应用的下一代设计中找到很好的定位。
尽管多家半导体OEM厂商已经在7nm(纳米)节点上推出了产品,而Xilinx新推出的Kintex UltraScale FPGA则采用了主力20nm工艺技术。20nm工艺听起来像是过气的芯片技术,但在太空方面,20nm工艺实际上是先进技术。太空级半导体芯片需具耐辐射性,必须使用高度可靠且经过验证的芯片制造技术。Xilinx的上一代太空级FPGA建在65nm节点上,新的20nm芯片技术将空间应用大幅推进了三代的工艺节点。简而言之,太空级部件不能够出故障、需要承受冲击、振动和辐射,同时体积要小包装要轻便,而且又要能提供高水平的计算和AI(人工智能)处理能力。 Xilinx表示,“ XQRKU060是业界唯一可以在无限太空轨道里真正的重配置解决方案。而且还能进行实时机载处理和机器学习加速,这些可以令卫星实时更新,能按需提供视频,并执行“及时”计算处理复杂的算法。”
太空级别Xilinx Kintex UltraSCALE耐辐射FPGA (图:Xilinx)
Xilinx 的Kintex XQRKU060在机器学习方面也是一流的,特别是边缘推理加速方面,这里的边缘或许可以说是“外太空”边缘。新型Xilinx XQRKU060可提供5.7 TOPs 尖峰INT8的性能并具有高度可扩展精度,内置密集的可编程逻辑阵列,数字信号处理(DSP)功能比上一代产品提高了10倍,还支持TensorFlow和PyTorch等机器学习开发工具。 Xilinx称,XQRKU060的机器学习吞吐量比上一代XQR5QV系列提高了近25倍。 Xilinx指,“XQRKU060的机器学习功能适用于解决各种问题,包括科学分析、对象检测和图像分类(例如云检测),可以提高处理效率并减少空间和地面决策延迟。”
此外,读者大可以想像得到,能在发射前及发射后在轨道上重新配置的功能很重要,是区分先进FGPA解决方案和普通解决方案的关键,原因是尖端的空间应用程序常常需要顺着各种曲线轨迹飞来飞去。换句话说,人工智能要能够学习、推断、分析,然后做出决定如何重新配置自身或交由工程师决定。这些听起来像是钢铁侠电影里的东西,是不是?
软件工具方面,Xilinx指XQRKU060会得到旗下成熟的Vivado设计套件的支持,Vivado套件同样也支持机器学习行业标准框架。另外,Xilinx旗下人工智能统一软件平台也有计划支持XQRKU060,芯片和生产级加速器板都会支持。
Xilinx指,20nm RT Kintex UltraScale太空级XQRKU060 FPGA(https://www.xilinx.com/products/silicon-devices/fpga/rt-kintex-ultrascale.htm)飞行元件将于今年9月下旬在MIL-PRF-38535规格设备里提供。
好文章,需要你的鼓励
这项来自苹果公司的研究揭示了视频大语言模型评测的两大关键问题:许多测试问题不看视频就能回答正确,且打乱视频帧顺序后模型表现几乎不变。研究提出VBenchComp框架,将视频问题分为四类:语言模型可回答型、语义型、时序型和其他类型,发现在主流评测中高达70%的问题实际上未测试真正的视频理解能力。通过重新评估现有模型,研究团队证明单一总分可能掩盖关键能力差距,并提出了更高效的评测方法,为未来视频AI评测提供了新方向。
这篇来自KAIST AI研究团队的论文提出了"差分信息分布"(DID)这一创新概念,为理解直接偏好优化(DPO)提供全新视角。研究证明,当偏好数据编码了从参考策略到目标策略所需的差分信息时,DPO中的对数比率奖励形式是唯一最优的。通过分析DID熵,研究解释了对数似然位移现象,并发现高熵DID有利于通用指令跟随,而低熵DID适合知识密集型问答。这一框架统一了对DPO目标、偏好数据结构和策略行为的理解,为语言模型对齐提供理论支持。
VidText是一个全新的视频文本理解基准,解决了现有评估体系的关键缺口。它涵盖多种现实场景和多语言内容,提出三层评估框架(视频级、片段级、实例级),并配对感知与推理任务。对18个先进多模态模型的测试显示,即使最佳表现的Gemini 1.5 Pro也仅达46.8%平均分,远低于人类水平。研究揭示输入分辨率、OCR能力等内在因素和辅助信息、思维链推理等外部因素对性能有显著影响,为未来视频文本理解研究提供了方向。
ZeroGUI是一项突破性研究,实现了零人工成本下的GUI代理自动化在线学习。由上海人工智能实验室和清华大学等机构联合开发,这一框架利用视觉-语言模型自动生成训练任务并提供奖励反馈,使AI助手能够自主学习操作各种图形界面。通过两阶段强化学习策略,ZeroGUI显著提升了代理性能,在OSWorld环境中使UI-TARS和Aguvis模型分别获得14%和63%的相对改进。该研究彻底消除了传统方法对昂贵人工标注的依赖,为GUI代理技术的大规模应用铺平了道路。