人工智能市场快速增长,算力的需求不断衍生,这对对计算架构的效率和灵活性提出了更高要求。
Imagination Technologies产品总监Rob Fisher接受记者采访时表示,AI领域的高速创新使满足未来需求的硬件和软件变得十分关键。“在软件设计方面,必须具备快速制作新架构原型并测试新架构的能力。在硬件设计方面,必须选择合适的加速粒度以兼顾灵活性和性能。”
Imagination从2015年就开始投入研发AI专用芯片IP核,从最初2NX到3NX到2020 年推出的4NX, 产品在不断演进迭代,性能从0.5Tops的算力开始,到3NX达到12.5Tops,到4NX的多核方案,可上升到100Tops甚至更高。
Imagination为人工智能应用开发了创新型的IP产品,例如PowerVR NNA神经网络加速器系列具有丰富的成员产品,使移动和智能网联(AIoT)设备能够以以前边缘设备无法想象的速度运行神经网络计算。对于诸如安防、自动系统、零售和安全摄像头等细分市场,PowerVR Vision & AI内核可使得边缘设备得到极致的智能化性能,并实现低功耗和低成本。
如今XPU趋势明显,各种异构芯片层出不穷。Rob Fisher说,异构设计可以通过专门的单元更好地处理各项流程,在不需要增加硅面积的情况下提高相同任务的执行效率。而且随着希望设计定制芯片的制造商越来越多,异构性能将变得极其重要。
异构架构在AI设备中兴起的原因是同构架构限制了执行性能,因此需要多种不同的处理单元来满足性能、面积和功耗方面的限制。
Imagination所提供的业界领先的处理器IP解决方案使系统级芯片设计人员能够创建加速AI系统。Imagination通过CPU、GPU和AI处理器IP提供从简单的单处理器加速到复杂异构系统等各种解决方案。
比如IMG Series4多核NNA在运行基于特定的计算图的卷积神经网络(CNN)和其它基于矩阵乘法运算的神经网络(NN)任务时,性能是通用嵌入式处理器的数百倍。
软硬一体赋能芯片
当前AI硬件跟不上软件定义系统创新速度的问题将始终存在。选择合适的硬件加速粒度并在可能的情况下加入可编程性可以在一定程度上缓解这种情况,但却永远无法彻底解决这个问题。
Rob Fisher介绍说,Imagination将软件和硬件放在一起考虑,所提供的综合全面的SDK工具包使开发人员能够成功使用基于Imagination IP的产品,比如使用Neural Compute SDK为神经网络部署具有最高性能和精度的模型并进行跨CPU、GPU和NNA的集成异构编译。
AI框架和智能芯片的适配成果很大程度上影响了智能产业应用从开发到落地的距离。Imagination与百度飞桨开展了广泛的合作,两家公司最近一起发布了一套Model Zoo资源来更好地帮助AI芯片设计人员和开发人员运用百度飞桨产品。
此前,百度飞桨更多的是与AI硬件,也就是芯片设计厂商,进行软硬协同的优化。而这次与芯片设计厂商的上游IP厂商——Imagination合作,可以将收集到的AI应用需求,比如对于算子、模型、算力等各个层面的需求,提供给Imagination,改进IP核,确保最优的性能体现。
除此以外,Imagination和百度飞桨还宣布了一项针对深度学习应用的硬件生态共创计划,发挥两家公司在硬件和软件市场的专长。
结语
AI是一个令人兴奋的领域,AI框架的开发不断演进。硬件和软件是高度相互依赖的,没有正确的硬件,世界上最好的软件也是无用的,反之亦然。
谈及未来布局,Rob Fishert透露,Imagination不仅注重通过扩展来满足计算需求,而且还注重通过提高效率来管理所需的计算量。为了满足不断增长的需求,这两方面都必不可少。
好文章,需要你的鼓励
新加坡国立大学研究团队开发了名为IEAP的图像编辑框架,它通过将复杂编辑指令分解为简单原子操作序列解决了当前AI图像编辑的核心难题。研究发现当前模型在处理不改变图像布局的简单编辑时表现出色,但在需要改变图像结构时效果差。IEAP框架定义了五种基本操作,并利用思维链推理技术智能分解用户指令,实验证明其性能显著超越现有方法,尤其在处理复杂多步骤编辑时。
Character AI的研究者开发出TalkingMachines系统,通过自回归扩散模型实现实时音频驱动视频生成。研究将预训练视频模型转变为能进行FaceTime风格对话的虚拟形象系统。核心创新包括:将18B参数的图像到视频DiT模型改造为音频驱动系统、通过蒸馏实现无错误累积的无限长视频生成、优化工程设计降低延迟。系统可让多种风格的虚拟角色与人进行自然对话,嘴型与语音同步,为实时数字人交互技术开辟了新可能。
这项由中国人民大学高瓴人工智能学院研究团队发表的研究解决了大语言模型评判中的自我偏好问题。研究提出了DBG分数,通过比较模型给自身回答的分数与黄金判断的差异来测量偏好度,有效分离了回答质量与自我偏好偏差。实验发现,预训练和后训练模型都存在自我偏好,但大模型比小模型偏好度更低;调整回答风格和使用相同数据训练不同模型可减轻偏好。研究还从注意力分析角度揭示了自我偏好的潜在机制,为提高AI评判客观性提供了重要指导。
这篇研究提出了DenseDPO,一种改进视频生成模型的新方法,通过三大创新解决了传统方法中的"静态偏好"问题:使用结构相似的视频对进行比较,采集细粒度的时序偏好标注,并利用现有视觉语言模型自动标注。实验表明,DenseDPO不仅保留了视频的动态性,还在视觉质量方面与传统方法相当,同时大大提高了数据效率。这项技术有望推动AI生成更加自然、动态的视频内容。