至顶网服务器频道 06月01日 新闻消息(文/李祥敬):在人工智能时代,深度学习和机器学习成为企业进行业务创新的重要基础。而这些有赖于计算力、算法的支撑,于是我们看到异构计算风起云涌。作为专注于异构计算加速平台解决方案的提供商,近日,加速云在“加速新科技,驱动智未来” 科技峰会暨新产品发布会上正式发布了四大创新产品及三大解决方案,其中包括两个系统硬件加速产品、两个IP库、三大解决方案。
杭州加速云信息技术有限公司(简称:加速云)创始人兼CEO邬刚表示,加速云创新的异构计算加速平台解决方案,具有高性能、高效率、低延时特性以及可编程性和远程可重构能力,可以满足数据和模型规模不断扩大的需求,助力深度学习模型高效运转。
邬刚说,加速云是一个纯粹的技术推导出来的公司,紧跟技术走向,与客户深入沟通。加速云本次推出的四大产品为:两个系列硬件加速产品(SC-OPS,SC-VPX)、两个IP库 (FDNN,FBLAS)、三大解决方案(深度学习解决方案、高性能计算及数字信号处理解决方案、边缘计算解决方案)。
其中,SC-OPS是加速云推出的全球首张Intel Stratix 10 FPGA加速卡,采用Intel最新14nm工艺的Stratix10 GX2800 FPGA器件,可以广泛应用于数据中心、云计算、机器视觉、深度学习、高性能计算、仿真、金融等领域。
SC-VPX是全球计算密度最高的VPX刀片加速平台,采用Intel Stratix 10 GX2800器件,兼容GX1650,构造业界先进、灵活、高效的信号处理和深度学习架构,主要定位高校研究所等单位的雷达,通信,深度学习相关领域的产品原型快速搭建和算法开发与应用。
深度学习加速库FDNN是国内首个支持通用卷积神经网络的FPGA加速库,基于RTL级代码,可以提供很高的性能和灵活配置特性。而高性能计算加速库FBLAS是业界更高性能的RTL级数学加速库。
对于IP库,邬刚表示,不管是深度学习还是高性能计算,关键是把数学公式变成硬件,也就是通过硬件对数学公式进行加速,IP库可以加速客户的应用开发。“硬件是载体,IP才是核心。光有一个硬件,FPGA就像一张白纸,有了IP,你把它画成清明上河图。单纯做IP不容易,加速云通过将IP库与硬件绑定实现最大化的加速计算。加速云的团队不光具备很强的算法能力,还有很强的工程化能力,快速量产产品。”
除了产品和IP库,加速云还推出了三大解决方案,帮助企业构建异构加速计算平台。
深度学习加速解决方案——加速云推出一整套基于FPGA的深度学习加速方案,包括SC-OPM/SC-OPF/SC-OPS加速卡及FDNN加速库,满足客户对深度学习高性能、灵活性加速要求。为了方便客户使用高层语言开发,加速云提供基于FPGA完整的OpenCL异构开发环境,快速实现用户自定义的深度学习加速方案。同时加速云也提供快速深度神经网络定制加速服务。
数字信号处理解决方案——针对雷达、通信等数字信号处理系统的要求,结合Intel最新14nm工艺的 Stratix10 FPGA系列,加速云提供了一套完整的硬件和软件相结合的解决方案,实现了高性能矩阵运算(矩阵乘、转置、求逆、QR分解)和超高速FFT(傅立叶变换)。为了方便客户使用高层语言开发,加速云提供基于FPGA完整的OpenCL异构开发环境,快速实现用户自定义的信号处理加速方案。
边缘计算解决方案——加速云智能工控解决方案采用高性能Intel Arria10 GX660器件, 具有模块化设计,强实时特性和高性能的算法IP加速、完整的OpenCL异构开发环境,可以实现新一代高性能边缘计算网关,应用于各种工业环境。
说起异构计算,我们首先想到的就是GPU。其实,除了GPU,FPGA成为近年半导体产业的热点。FPGA作为一种高性能、低功耗的可编程芯片,可以根据客户定制来做针对性的算法设计。所以在处理海量数据的时候,FPGA 相比于CPU和GPU,优势在于:FPGA计算效率更高,FPGA更接近IO。
FPGA不采用指令和软件,是软硬件合一的器件。对FPGA进行编程要使用硬件描述语言,硬件描述语言描述的逻辑可以直接被编译为晶体管电路的组合。当然除了GPU和FPGA,ASIC也是目前计算芯片的一种选择。ASIC是一种专用芯片,与传统的通用芯片有一定的差异,是为了某种特定的需求而专门定制的芯片。
对于这三种不同类型的芯片,邬刚表示,他们各有自身的特点,不能简单说谁比谁强。在人工智能领域,GPU适合训练,而FPGA适合在线推理。它们有各自的优势,任何的芯片都有自己的特定应用场景,不能包打天下,只能找到准确的适合它的场景。
目前很多云计算提供商推出了FaaS(FPGA as a Service),平台厂商与FPGA硬件厂商合作,在云端提供统一硬件平台与中间件。对于这种服务,邬刚是持保留意见的。他说,首先FPGA开发人员数量有限,其次FPGA开发需要物理接触硬件进行调试。这就注定FaaS的发展并不平坦。加速云也有自己的异构计算云平台SC-HCCP,但是这是一种私有云解决方案。
“异构计算是计算架构的未来趋势,而FPGA是实现异构计算的完美选择。加速云希望能够通过我们的技术,帮助更多的企业实现深度学习,在大数据时代赢得先机。”邬刚最后说。
好文章,需要你的鼓励
OpenAI首席执行官Sam Altman表示,鉴于投资者的AI炒作和大量资本支出,我们目前正处于AI泡沫中。他承认投资者对AI过度兴奋,但仍认为AI是长期以来最重要的技术。ChatGPT目前拥有7亿周活跃用户,是全球第五大网站。由于服务器容量不足,OpenAI无法发布已开发的更好模型,计划在不久的将来投资万亿美元建设数据中心。
阿里巴巴团队提出FantasyTalking2,通过创新的多专家协作框架TLPO解决音频驱动人像动画中动作自然度、唇同步和视觉质量的优化冲突问题。该方法构建智能评委Talking-Critic和41万样本数据集,训练三个专业模块分别优化不同维度,再通过时间步-层级自适应融合实现协调。实验显示全面超越现有技术,用户评价提升超12%。
英伟达推出新的小型语言模型Nemotron-Nano-9B-v2,拥有90亿参数,在同类基准测试中表现最佳。该模型采用Mamba-Transformer混合架构,支持多语言处理和代码生成,可在单个A10 GPU上运行。独特的可切换推理功能允许用户通过控制令牌开启或关闭AI推理过程,并可管理推理预算以平衡准确性和延迟。模型基于合成数据集训练,采用企业友好的开源许可协议,支持商业化使用。
UC Berkeley团队提出XQUANT技术,通过存储输入激活X而非传统KV缓存来突破AI推理的内存瓶颈。该方法能将内存使用量减少至1/7.7,升级版XQUANT-CL更可实现12.5倍节省,同时几乎不影响模型性能。研究针对现代AI模型特点进行优化,为在有限硬件资源下运行更强大AI模型提供了新思路。