加速下一代客户端设备 莱迪思Lattice sensAI 4.1版本正式发布 原创

目前，网络边缘的计算正在快速兴起。新的应用在边缘端发展出新的应用和使用场景。ABI的研究调查表明，预计到2024年设备端的AI推理功能将覆盖近60%的设备。

在此背景下，莱迪思半导体公司宣布Lattice sensAI 4.1版本正式发布。借助Lattice sensAI解决方案，OEM厂商可以开发智能、实时在线、具有低功耗和硬件加速AI功能的设备，这些设备还能现场进行升级，支持未来更多的AI算法。

莱迪思半导体亚太区资深市场开拓经理林国松告诉记者，Lattice sensAI 4.1针对客户端计算设备上的低功耗AI/机器学习（ML）应用路线图进行更新，具体包括实现感知和瞬时启动、电池寿命创新方案、增强隐私保护及专注的视频会议体验等。

提升客户端计算AI体验

客户端计算设备越来越需要快速响应和情景感知式的用户体验、高质量视频会议和协作式应用。莱迪思Nexus FPGA和sensAI解决方案集合是开发计算机视觉和传感器融合应用的理想平台，可以提升用户的参与和协作，保护用户隐私。

为什么选择FPGA实现网络边缘的AI？这是由于边缘端对功耗的敏感度和尺寸的大小都有比较严格的要求，而小封装和低功耗恰好是Lattice FPGA的特点。除此以外，Lattice FPGA还具有灵活的计算资源、安全性以及加速AI算法等特性。

林国松说，AI技术的快速创新对可编程逻辑器件——FPGA来说是有利的，FPGA可以配合AI技术从硬件和算法进行优化，随时为用户提供最佳体验。

Lattice sensAI 4.1的客户端计算AI体验参考设计包括如下内容：

• 用户检测：用户接近或离开设备时会自动启动或关闭客户端设备
• 注意力追踪：当用户的注意力不在屏幕上时，降低设备的屏幕亮度，节约电量，延长使用时间
• 面部取景：在视频会议应用中提升视频体验
• 旁边者检测：检测站在设备后面潜在的窥视者，模糊屏幕以保障数据隐私

林国松表示，下一代PC的趋势主要在智能和感知，强大的协作能力和轻薄的外形三个方面。Lattice sensAI的智能和感知AI解决方案提供了用户检测、注意力追踪、旁观者检测及面部取景功能。通过注意力追踪可以延长28%的电池寿命；旁观者检测可以保护用户隐私数据，而面部取景也是很多协作式会议所需的场景。

现在上面上多数的电脑都是以鼠标是否移动来判定用户是否在使用电脑的，如果鼠标长期未移动，电脑就会息屏。但Lattice sensAI的方案是通过更高端的用户检测来进行判定的，电脑可以感知是否有用户在电脑跟前，并支持瞬时启动功能。

除此以外，sensAI符合道德和合理的AI设计考量。电脑是能够看见人的脸的，但是电脑看见人的脸，就是后台APP能够使用。通过使用Lattice sensAI就可以不把图像传给电脑，直接在硬件上处理。也就是通过Lattice sensAI只会传出一个结果，而不会传输图像，这样的话用户的肖像权就不会受到侵害。

与使用CPU来驱动AI应用的设备相比，采用sensAI开发，并在莱迪思FPGA上运行的AI计算设备的电池使用时间延长了28%。sensAI还支持现场软件更新，从而保持AI算法的演进，还能让OEM厂商灵活选择不同的传感器和SoC技术来适配他们的设备。

“PC产业链非常复杂，需要不断完善和增强技术支持。为了能够让Lattice产品在PC上得到落实，我们需要和OEM终端生产厂商的合作，包括和其他芯片和传感器等厂商的合作，同时也需要其他操作系统和软件的支持，以保证客户在使用Lattice方案的时候能够快速实现方案。”林国松说，“莱迪思正与领先的AI生态系统伙伴合作，制定莱迪思客户端计算AI体验的发展路线图。Lattice在这方面也会不断地投入更多人员，以达到更快地提供方案的目标。”

整体AI解决方案

除了在客户端AI方面的应用，Lattice sensAI 4.1在性能和准确度方面的提升有助于拓展其目标应用，包括自动化工业系统中使用的高精度目标检测和瑕疵检测等应用。该解决方案集合拥有全新硬件平台，包括板载图像传感器、两个I2S麦克风和用于添加更多传感器的扩展连接器，助力基于语音和视觉的机器学习应用的开发。

sensAI还更新了神经网络编译器，Lattice提供定制化设计服务，通过标准的Caffe、TensorFlow、TensorFlowLite、Keras等常用AI网络培训完之后，再通过Lattice提供的神经网络编译器，编译成相对应的可执行指令，这些指令最终会由Lattice的芯片所调取使用。

sensAI支持Lattice sensAI Studio，这是一款基于GUI的工具，拥有AI模型库，经过配置和训练可适用于各类主流应用场景。sensAI Studio现支持AutoML功能，能根据应用和数据集目标来创建机器学习模块。

林国松表示，Lattice收到了很多关于配置机器学习培训环境的反馈，用户在这里是会遇到一些问题，主要是由于这些培训环境的应用场景中应用软件更新非常快，软件和软件之间的兼容性就很难解决。为了解决这样的问题，Lattice特别推出了Lattice sensAI Studio。

此外，Lattice专门提供了PROPEL软件，开发者可以对于整个内部结果的控制能够进行类似于C代码的控制，而不是使用比较难以上手的FPGA的开发代码。

林国松表示，Lattice sensAI Studio所做的事情更多是偏向于人工智能培训所需要的内容。而Propel更多做的是偏向于C代码的开发，在使用上会更加亲切。“Lattice作为低功耗FPGA的领先供应商，我们提供的都是开发软件的语言开发环境，所以Propel开发可以简化这样的语言开发环境的复杂度，加快客户使用的熟悉程度。”

一些基于Mobilenet机器学习推理训练平台的模型专为最新的Nexus系列产品——Lattice CertusPro-NX进行了优化。sensAI还兼容其他广泛使用的机器学习平台，包括最新版本的Caffe、Keras、TensorFlow和TensorFlow Lite。

“Lattice sensAI在Lattice整个解决方案系列里面是重要的一环，除了这个之外，Lattice本身还有其他的解决方案，例如Sentry是安全保护的方案，AutoMate是工业控制的方案，Lattice还在不断推出新方案。明年上半年会推出针对5G的新方案。”林国松最后说。