聚焦边缘人工智能 英特尔提供完整软硬件解决方案 原创

近日，以“开放引领发展，合作共赢未来”为主题的2023年中国国际服务贸易交易会（简称“服贸会”）在北京举行。

在中国智能产业论坛论坛上，英特尔中国区网络与边缘事业部首席技术官、英特尔高级首席AI工程师张宇博士进行了主题分享，介绍了智能边缘技术和市场发展，以及英特尔硬件软件的产品如何赋能合作伙伴，快速构建面向智能边缘的应用服务。

当前，在大语言模型的驱动下，人工智能技术在各个行业得到迅速普及和应用，例如交通、医疗、零售、工业等等。

张宇说，人工智能赋能包括云计算、边缘计算的计算模式，边云融合是一大趋势。随着行业以及连接、智能应用、数据隐私保护等方面诉求增加，这推动了边缘计算尤其是边缘智能事业的发展。

边缘人工智能发展趋势

边缘人工智能是将人工智能算法和模型部署在边缘设备上，从而提供更高效、更精准的用户体验，并为企业的决策和生产提供更多动力。

人工智能在边缘的应用大多数还是停留在边缘推理阶段，这是目前绝大多数边缘人工智能使用的模式。但是这种模式有局限性，由于需要利用数据中心进行模型训练，然后推送到边缘侧，导致模型的更新频率有限。

以自动驾驶为例，它们对模型的即时更新有诉求。车企利用大量数据进行模型训练，其采用的训练数据集跟实际上驾驶人员在真正驾驶时所面临的路况以及驾驶之间有差异，造成训练以后模型泛化能力往往有限。最有效的解决办法就是不断在使用过程中根据驾驶人员的驾驶习惯以及我们所面临的实际路况，对这个模型进行二次不断的修正，不断重新训练。

这其实代表了边缘人工智能发展的下一个趋势——边缘训练。当然边缘训练并不是说把数据中心现在已经用到大量的训练手段，照搬到边缘进行复制。毕竟边缘侧实现人工智能训练需要面临一系列的特定挑战。

张宇解释说，边缘侧人工智能训练需要操作人员具备相应的经验，而且训练数据样本规模小的情况实现有效训练也是挑战。此外，在确保隐私安全保护下利用融合的数据在边缘实现模型进一步的训练，这些都是在边缘进行人工智能训练时需要解决的问题。

基于此，今后人工智能发展的下一阶段应该进入一个边缘AutoML自主阶段，这个阶段网络模型应该感知人的意图，选取适宜的样本集训练这个模型，将训练结果推送到训练阶段进行相应操作。甚至根据训练的结果不断更新、不断重新训练网络模型，进行不断迭代，达到最佳的理想结果，这是边缘人工智能发展的一个最终形态。

张宇表示，AutoML应该是一个人工智能的闭环。目前ChatGPT等应用训练完模型以后用于推理，推理的结果并不能马上就进行反馈。毕竟大模型训练成本非常高，不可能动态利用现在现实的推理结果对这个模型进行进一步的升级和改造。“如果把攀登高峰比喻人工智能不同阶段的话，实现边缘推理只是意味着我们站到山脚，到我们能实现边缘训练只是站到半山腰，真正站到山顶是真正实现AutoML的时刻，这个还有很长的路要走。”

边缘人工智能发展的挑战

虽然边缘人工智能的设计、开发和部署案例正在快速增长，但是很多企业仍面临着资源有限、缺乏专业知识、难以在运行时保护数据和模型并在多样化硬件平台上部署等难题。

目前边缘人工智能是把数据中心已经验证过的AI手段经过优化之后在边缘进行落地，但是由于行业场景和数据中心存在差异，边缘人工智能的发展越来也呈现出自身的特点，比如实时性的要求。

边缘人工智能发展并非一件容易的事，毕竟它的算力是有限的，这就限制了算法的复杂程度。所以网络压缩技术是在边缘进行人工智能部署时很重要的一项技术。

人工智能技术在数据中心训练好模型以后，真正把它部署在边缘的时候，一定要做相应的优化，很多网络需要进行简化以后才能在一个资源受限的边缘场景进行使用。这就催生了网络压缩技术。

边缘训练碎片化非常明显，这就导致软件迁移成本很高，这就要求软件工具能实现对不同的硬件平台的适配，这也是开发人员尤其是边缘人工智能应用开发人员对于软件的要求。

如果我们在边缘部署人工智能应用的时候，这些数据在进行使用的时候如何进行保护是一个非常重要的话题。比如在存储的时候可以通过加密的方式进行保护，但是在运行时态这些数据被存储在内存里的时候，如何保护这些数据，使得跟其他的应用之间有一个安全边界，彼此隔离，这是实现安全解决方案时必须要考虑的问题。

英特尔的完整软硬件解决方案

面对这些挑战，英特尔提供的是面向边缘人工智能、网络、数据中心的完整硬件和软件解决方案。尤其在人工智能方面，英特尔提供了从计算、通讯到存储等一系列的产品，供开发人员进行选择。

英特尔提供包括CPU、GPU及各种人工智能芯片等多种产品的组合，满足用户对人工智能算力不同的要求，例如第四代英特尔至强可扩展处理器集成了级矩阵扩展技术AMX技术，对于矩阵运算进行直接加速，提高利用通用处理器进行人工智能推理或者是人工智能训练的能力。同时借助SGX技术在运行时态为关键的数据和程序提供一个有别于其他应用的安全可执行的区域，使得人工智能应用可以部署在比如像金融、医疗等等这些对于安全有比较强诉求的应用行业里。

张宇说，大集群的性能不仅仅取决于计算能力，同时取决于通讯能力和存储能力。针对人工智能大模型的训练和推理，英特尔在今年推出第二代Gaudi处理器，它不仅能提供大量的算力，同时能提供通讯能力。英特尔还提供可编程的以太网交换芯片等等数据中心的产品以及网络产品，帮助企业构建软件定义的网络。

除了丰富的硬件产品组合，英特尔还提供了丰富的软件工具，比如Geti平台、OpenVINO套件。其中，OpenVINO包含两个关键组件，一个是模型开发器，一个是推理引擎。开发人员的应用只需要开发一次，利用OpenVINO的适配能力，就可以把这个应用部署在不同的硬件平台之上，这样可以极大地降低软件开发成本。

OpenVINO保持了每个季度一个版本的方式不断进行迭代，而且已经开源，在新的OpenVINO版本即2023.0的版本里，也增加了对AIGC新技术的加持。

张宇说，OpenVINO从无到有、从小到大，从一个关注于国内的AI技术，到兼顾国内、国外AI技术的发展，它的覆盖面和关注度在不扩大，使OpenVINO可以更好赋能国内和国际的人工智能开发人员。

同时，英特尔在行业方面也做了大量的工作，比如在智能制造领域英特尔跟合作伙伴利用机器视觉把实时性和智能化结合起来推动业务转型。

在智能制造的缺陷检查中，不同工厂、不同行业的缺陷特征差异非常大，很难用一个模型把所有要检测的特征都提炼出来。这个时候边缘训练往往是增量训练，也就是在一个已有训练集的基础之上，通过新增样本集实现增量的训练。针对这种情况，英特尔会通过白皮书或者行业解决方案的形式为行业提供参考实现，推动边缘智能的部署落地。

“人工智能正在加速在行业中的落地，比如智能零售对顾客喜好的洞察，运营商在5G网络服务中引入人工智能实现对客户体验的增强。英特尔通过先进的软硬件产品组合和解决方案助力行业和企业加速人工智能的开发和落地应用，以进一步推动人工智能蓬勃发展。”张宇最后说。