一项新的调研确定了网络在提升数据中心效能的关键特性;而在认识SmartNIC优化网络存储作用方面,中国则领先于美国和英国。
当今企业和云数据中心最关心的问题就是“存储”。
高效的数据库、虚拟服务器、机器学习、人工智能、大数据和视频流,都需要大量的快速存储,并需要分配给正确的服务器。然而如何实现却是一项挑战。
本地存储速度快,易于访问与部署,但现代业务的不确定性和压力意味着额外支出的必要性,以及考虑冗余的存储容量。从这个意义上来看,网络存储更具成本效益。
然而,网络存储的每一个特性(例如压缩、重复数据删除、加密、精简配置或文件系统)都是针对效率进行软件定义的,这表示服务器需要额外工作,因而降低了对应用处理的计算资源的可用性。因此,从网络存储中获得最佳性能、安全性和虚拟化远非易事。
今天的数据中心运营商如何解决这一难题?
最近针对200多位云、电信和企业数据中心专业人士进行的一项调研,深入研究了他们的观点、策略以及他们为提高数据中心性能和效率在现实世界中的实际作为后,该调研精确指出“有效利用服务器和存储”的重要性。
这项调研是由Futuriom在2019年第一季度进行的,使用的是一家独立的基于云的数据合作伙伴。受访者包括来自美国的116人,来自中国的52人和来自英国的50人。这样做的目的是为了根据数据中心基础设施正在积极部署的关键地区,从而获得多元化的全球图景。
受访者分布在云计算(49%)、电信(26%)和企业IT领域(25%)。所有人士都接受了IT专业背景的分类筛选,其中25%属于专业首席主管(CxO)或高级副总裁类别。
角色包括:企业IT经理(39%)、云架构师/经理(32%)、应用程序开发(26%)、安全(24%)和网络经理/架构师(22%)。该调研限于员工人数超过500人的公司:
人们清楚地意识到需要将数据中心网络升级到更高的效率,而不是只通过部署更多的CPU硬件来提高能力。当被问及“对提高数据中心性能的技术进行排名”时,得分最高的是“使用对处理器卸载和SmartNIC等技术来提高网络效率”,而得分最低的则是“部署更多的服务器”。
升级网络有许多预期的潜在好处。包括:更快的应用程序性能(64%)、更强的安全性(59%)、更大的灵活性(57%)和应用程序可靠性(57%)。总体而言,网络优化被视为提高数据中心性能的关键途径。84%的受访者认为网络基础设施对于提供人工智能和机器学习“非常重要”或“重要”。
当涉及实际的解决方案时,另一个清晰的画面出现了,那就是:数据中心运营商部署SmartNIC技术以获得更好的结果。当被问及“哪些SmartNIC的用例对您的IT组织有吸引力?”时,第二个选择是“虚拟化和共享闪存存储以更有效地使用它”,占55%。总冠军是“提高虚拟机和/或容器(container)的效率” ,以56%的比例略微领先。其他的选择还有“启用更多软件定义的网络”(54%); “加速超融合基础设施”(50%)和“隔离并阻止安全威胁”(47%)。只有10%的人坦承“我不知道SmartNIC是什么”。
接受调研的三个地区有一些有趣的差异。中国因其强烈认可SmartNIC优化存储网络的作用而脱颖而出。对于两个最常见的“提高虚拟机和容器的效率”以及“虚拟化和共享闪存存储”,认可率分别占比65.38%和75%。而美国为55%和51%。英国则对所有用例都显出略低的兴趣水平。
智能网络的秘诀在于将网络连接在一起的网络界面卡(NIC):SmartNIC内置了可用C语言编程的ARM处理器(ARM也是大量用于手机的处理器),以及使用标准API的智能加速器。通过编程,SmartNIC可以执行从优化流量到在恶意数据到达服务器之前识别和隔离它等等的任何操作。诸如远程直接内存访问、非易失性内存快速结构(NVMe-oF)、压缩、加密和网络虚拟化等任务对服务器内核持续的需求,降低了这些服务器内核支持应用程序的能力。更先进的SmartNIC甚至可以虚拟化网络存储,从而简化虚拟服务器和裸机服务器的配置。
在下图中,绿色的内核可以自由地为应用程序提供服务,而红色内核仍在忙于优化网络。与此同时,网络性能得到改善,内核也得到了释放。例如,使用8个内核,每秒760万个数据包,提高到使用0个内核每秒8000万个数据包。这多亏了SmartNIC在网络中构建智能,而不是将所有东西都提交到服务器上去处理。
数据中心正在进行改造,以应对高要求应用的挑战。这些高要求应用包括大数据挖掘、人工智能到自动驾驶汽车等不一而足。
网络是将它们整合在一起的关键粘合剂,而SmartNIC正在释放处理器能力,以更好地支持应用程序。与此同时,他们正在构建一个智能网络,能够更好地处理日益增长的性能需求,并能够更好地识别和阻止更靠近源的恶意流量。结果是多方面的,其中包括了升级连网的存储,这样它就可以像本地存储一样好地执行所有的操作。
好文章,需要你的鼓励
AI数据训练师负责确保AI模型训练数据的准确性和可行性,是薪酬丰厚的热门职业。两项新研究显示,该职位年收入在6.5万至18万美元之间,专业领域专家薪酬更高。这一角色已从简单的数据标记发展为高度专业化的认知工作,需要细致的推理能力、深厚的专业知识和多语言能力。随着生成式AI工具兴起,行业正从普通工作者转向专业领域专家,计算机科学学位非必需,但数据标注经验有帮助。
延世大学研究团队开发出FlowBlending视频生成加速技术,通过智能分配大小模型的工作阶段,在保持视频质量不变的前提下将生成速度提升65%。该技术发现视频生成过程中只有开头和结尾阶段需要大模型,中间阶段可用小模型替代,实现了效率与质量的完美平衡,且可与现有技术无缝集成。
Rust资深开发者Steve Klabnik在AI助手Claude的帮助下设计了新的系统编程语言Rue。该语言旨在提供无垃圾回收的内存安全保障,同时比Rust和Zig提供更高级的易用性。Klabnik表示,通过与Claude合作,两周内完成了7万行Rust代码,远超此前独自开发的进度。Claude参与了大部分代码编写工作,而Klabnik负责方向指导和设计决策,展现了AI在编程语言开发中的巨大潜力。
斯坦福大学研究团队开发的Dream2Flow系统通过让机器人观看AI生成的演示视频来学习操作技能。系统提取视频中物体的3D运动轨迹作为指导,让机器人能够零样本完成多种日常任务,包括移动物品、开关门窗等操作,在真实环境测试中取得了最高80%的成功率。