助力AI加速网络研究 OpenNetLab开放网络平台联盟成立 原创

随着5G时代来临，应用越来越多样，网络环境也更加复杂，加上今年在线会议、在线教育、网络直播等实时通信需求的激增，都对底层的网络基础提出巨大挑战，将人工智能技术用于应对网络这种前所未有的复杂性成为大势所趋的一种必然。

近日，微软亚洲研究院宣布联合清华大学、北京大学、南京大学、兰州大学、新加坡国立大学、首尔国立大学等多所亚洲地区高校，成立OpenNetLab开放网络平台联盟。通过为研究人员提供通用的分布式网络测试平台，以及真实的网络评测数据集，OpenNetLab旨在推动人工智能（AI）在网络研究中的应用与发展，构建健康、可持续的网络研究生态系统。

为什么要成立OpenNetLab开放网络平台？

在我们日常工作和生活中，网络在背后起到了非常重要的作用。但实际上，现在网络研究面临了很多挑战。

微软亚洲研究院常务副院长周礼栋博士表示，随着移动设备的增多，比如手机、平板电脑、笔记本等，这些设备是处于移动状态的，所以网络需要考虑各种各样异构设备在网络之间的传输问题。其次，用户的需求以及应用有很多多样性。随着5G时代的到来，多媒体应用、音视频应用等成为主流，而这些应用对于网络的敏感度越来越高，而且随着时间变化而不断变化。

最后，网络自身也遇到了发展瓶颈，网络的构成越来越复杂，比如有线、无线等各种各样的网络，它们之间相关连接，复杂性增加。传统的网络研究或者设计理念已经无法适应当前网络发展的情况。

“因为网络本身是一个开放共享的资源，网络本身的问题牵涉到所有参与网络的群体。这些问题都不能一个人可以单独解决，需要整个社区搭建一个公共的基础设施，发现问题并有效地解决这些问题。”周礼栋说。

于是，OpenNetLab开放网络平台应运而生。目前，该平台已经完成了多个节点的建设及小规模部署测试，并且正在逐步进入大规模测试阶段。OpenNetLab平台的真实数据集不仅为高校提供了丰富的实验资源，也使得相关课程教学及实验更加接近现实世界的网络应用情况。

联盟中的多所合作高校已基于该平台展开了相关研究。比如清华大学在OpenNetLab上进行了异构网络带宽测量的研究；新加坡国立大学利用OpenNetLab中的数据集来评估我开源机器学习系统。

“以数据为中心”的网络新范式研究

如今，AI在视觉、语音、自然语言等领域的应用如火如荼，如何挖掘AI技术的潜力来提升网络领域的研究，是目前学术界和工业界共同关注的焦点。

在周礼栋看来，现在网络本身也已经进入到一个新阶段，此前的网络研究、建设、开发实际上都是一种传统的方式。但是随着数据的增加，我们需要推动“以数据为中心”的网络新范式研究。“特别是人工智能不断发展，我们可以通过以数据为中心、用人工智能技术处理网络的复杂性、多样性以及网络在时序上的多变性这些问。”

然而，AI技术在网络领域的应用面临诸多挑战。一方面，网络AI模型的训练和验证需要大量的数据，真实且有代表性的网络数据能提升模型的准确性和适用性，但研究人员获取大规模真实网络数据具有较大难度；另一方面，由于网络结构的多样性，以及网络设备、连接方式的异构性，如果希望一个网络模型适用于不同的场景，那么一次性离线训练的模型显然远远不够，而适合于此的强化学习模型对训练环境和场景要求很高。

针对上述挑战，南京大学计算机科学与技术系副教授田臣感同身受。他说，在日常研究中，我们很难获取相关网络资源。即使有了也很难运行真实的应用，而且为了验证新想法，需要将相关研究全部再操作一遍。最为重要的是没有真实的数据，需要自己制造数据集。OpenNetLab（http://opennetlab.org）的诞生正是为了应对这些挑战，为研究人员提供基于现实网络的真实数据，并能实地训练和验证网络模型。

OpenNetLab开放网络平台通过构建分布式节点收集不同区域、形态、场景的网络数据。现阶段，微软亚洲研究院计划将与合作高校一起在亚洲范围内建设40多个分布式异构节点。每个节点将由服务器、笔记本电脑、智能设备等组件构成，同时提供有线宽带、无线局域网和4G/5G移动网络的接入能力，数据存储、集成、分享的标准化接口，以及适用于不同网络环境的AI模型运行、训练和验证工具，帮助研究人员专注于网络AI算法和模型。今后，这些节点将在平台用户同意的情况下，实时收集网络状态、数据包跟踪等非隐私/非敏感数据，为各类网络AI模型的训练及验证提供支持。

周礼栋说，通过以上举措，我们解决了测试数据集的问题。研究人员就可以专注于网络在AI算法、模型上面的研究。“OpenNetLab相当于一个桥梁。我们要研究AI在网络中的应用，首先要有真实的环境、真实的数据。现在我们有了OpenNetLab，已经真实的数据以后，就可以对我们的研究起到一个奠基性的作用。”

此外，OpenNetLab可以为高校在教学、在培养人才上面可以提供更丰富的实验资源，而且更贴近现实网络情况，有利于相关人才培用。随着平台的壮大，其价值会越发凸显，包括网络特性和场景应用，通过开放合作的方式，将极大地推动网络研究的发展。

田臣也表示，OpenNetLab平台的建立解决了网络研究中的痛点，降低了研究门槛，吸引更多的研究者进入网络研究领域。“各个高校处在各种不同的地理位置，通过各种各样的资源节点加入，我们能够构建出来一个小的近似全球广域范围的实验场，但这件事情对于设备商、运营商是很难做到的。反而是作为教育机构，来自不同的国家、不同的网络的这些节点加入，我们可以构建一个更全面、更有代表性的网络实验环境。”

现在随着OpenNetLab平台的建立，南京大学正在尽快让学生在OpenNetLab上面进行真实的实验原型测试，包括基于AI的广域网拥塞控制、网络可视化等研究，感受真实的互联网特性。这对于后备人才力量的培养和研究工作是非常重要的。

在田臣看来，OpenNetLab是现在业界很短缺的一个平台，它像是一个实验场景，能够让我们研究完成以后进行验证。通过构建这样一个基础设施，生态圈越来越大，越来越多的学者和学生能够跨入这个行业，增强创新能力。这也是南京大学加入联盟平台的原因。

现在网络的复杂性和动态性越来越高，网络的情况不断地在变化，借助人工智能技术可以对网络研究起到一个巨大的推动作用。“因为人工智能的发展提供了一个契机，能够把网络中具有挑战性的问题真正地解决。未来我们希望利用技术非常系统化地在底层解决这些问题，‘让我们感受不到网络的存在’。”周礼栋最后说。

据悉，OpenNetLab平台的网络状态数据集将在GitHub上发布，为网络研究提供日渐丰富的训练数据和验证数据。OpenNetLab平台的节点覆盖区域也计划逐步扩展至亚洲以外地区。OpenNetLab开放网络平台联盟面向网络、多媒体、人工智能等多领域的科研组织和研究人员开放，希望更多志同道合的科研工作者加入，一起推动网络研究的发展。