边缘在AI部署中大有作为 英特尔已经准备就绪 原创

据调研机构预测，到2025年，75%由企业生成的数据将在传统数据中心或云之外进行创建和处理；到2026年，50%的边缘部署将涉及机器学习；86%的边缘开发人员将瞄准基于人工智能的应用程序；边缘的人工智能推理将是数据中心的3倍。

英特尔公司高级副总裁兼网络与边缘事业部总经理Sachin Katti在近日举行的2023英特尔网络与边缘产业高层峰会上接受记者采访时表示，边缘计算市场快速增长，这对英特尔以及生态系统，乃至整个中国市场提供了巨大的机遇。

随着AI正在快速迁移到云端，边缘在AI部署中将发挥更加重要的作用。在这一过程中，英特尔持续推出从云网络到移动和电信网络、从托管边缘到网络边缘再到本地边缘的软件定义的、可编程软硬件产品组合。

Sachin Katti说，英特尔为用户提供多样化的硬件产品选择，不过仅仅通过硬件获得边缘价值是非常困难的，英特尔在交付硬件的同时，也会提供相应的软件。“我们的目标是通过一套软硬结合的基础设施可以让客户更加容易部署硬件，并管理好硬件。”

如今大模型备受业界关注，英特尔OpenVINO可以把在云端进行的大模型训练的成果在边缘进行压缩和优化，从而可以让它得到更加广泛的使用。

Sachin Katti表示，OpenVINO让AI为每个人所用，推动AI更加广泛的使用，而不仅只是在云端使用。“随着大模型在云端训练的成熟，就会快速向边缘进行转移。通过我们的软件，可以让在云端训练的成果更加高效地在用户想要的地方进行使用。”

最新版本的OpenVINO已经增加了对大模型的支持，比如Stable Diffusion。OpenVINO经过优化，已经可以在酷睿处理器、第四代至强可扩展处理器平台以及英特尔独立显卡上面实现Stable Diffusion模型的推理。

除了软件产品，面对云端训练需求，英特尔在中国刚刚发布了专门面向大模型训练的加速器Gaudi 2。

英特尔中国区网络与边缘事业部首席技术官、英特尔高级首席AI工程师张宇博士表示，如果说大模型训练可以在云端更好地进行训练，那么在推理阶段则需要与具体的行业场景进行结合和优化，这样确保模型既满足特定行业对准确度、功能的要求，同时它的算力又能够被边缘设备所承载。

在大模型发展中，整体的性能并不仅仅取决于算力，网络的能力非常关键，开放的网络连接技术至关重要。英特尔也在推动基于开放标准的连接技术将GPU和加速器连接起来，给客户提供更多选择。

例如英特尔推出了IPU（Infrastructure Processing Unit），满足大模型训练对网络速度、可靠性、丢包率的严格要求。

“针对大模型，英特尔的产品涵盖了计算、通讯等各个领域，可以给用户提供较全面的方案。”张宇博士说。

中国市场有其独特性，比如算力网络。英特尔中国区网络与边缘事业部与众多中国行业客户展开了联合创新。

在医疗领域，英特尔与众多行业伙伴合作来优化超声扫描性能。通过借助oneAPI、OpenVINO和酷睿处理器，可大幅简化产前超声检查等工作流程。这意味着医生将有更多时间专注于额外的、更详细的超声筛查，进而为患者提供更好的诊疗选择；

在智慧城市领域，通过采用英特尔处理器和OpenVINO，英特尔与生态系统合作开发了一款配备边缘AI Box和边缘服务器的解决方案，可为旅客的出行提供更多选择和便利，并提高出行效率；

在电信领域，由英特尔至强处理器和FlexRAN参考软件提供支持的小型基站可帮助将资本支出、空间和电力的综合成本降低高达50%，中国通信服务提供商正在将其广泛部署在企业网络中；

在金融领域，由于金融机构的众多终端需要大量的维护和运营，目前许多头部客户广泛采用英特尔超能云终端解决方案，以通过“云上集中式的管理”结合“客户端强大的计算能力”，来提供均衡的终端用户体验，有效减少了对网络连接和云计算带宽的依赖，即使在网络断开的情况下，也不会影响终端的正常操作，从而始终保证用户业务的连续性。

张宇博士说，产业链的互相配合才能够推动整个行业的发展，尤其是开源社区。英特尔持续投入赋能社区的工作，推动边缘智能落地千行百业。“了解本地客户的需求，在中国为中国，我们提供行业需要的解决方案。”