100us级超低延迟与120万IOPS超融合解决方案是如何炼成的？SmartX给出答案！ 原创

至顶网计算频道 06月22日 新闻消息（文/李祥敬）：近年来，超融合技术已经成为现代数据中心流行的基础架构解决方案。凭借其架构简单、易于扩展等优势，超融合应用范围越来越广泛，从VDI、研发测试等场景逐渐扩展到生产环境。

而随着工作负载类型的变化，相对于物理机和全闪磁盘阵列方案，用户对基于虚拟化平台的超融合系统性能延迟还存在顾虑，导致核心系统始终未被整合到超融合系统当中。

为了解决这样的难题，SmartX正式发布基于核心软件SMTX OS与英特尔傲腾持久内存的高性能、低延迟超融合解决方案与SmartX Halo P系列一体机。

SmartX在业内首次将英特尔傲腾持久内存以App Direct Mode （应用直接访问模式），并作为核心组件用于超融合解决方案中。与此同时，通过对计算虚拟化、存储网络以及存储介质的端到端优化，以有限的计算资源获得业内领先的高性能与超低延迟服务器虚拟化存储性能。在集群测试中，只需要3个节点P系列一体机，即可达到120万的IOPS ，同时，应用端延迟保持在100us以下。

傲腾是英特尔推出的全新存储技术，其中傲腾持久内存就是以内存形态封装，支持像普通内存一样插在内存槽使用。

英特尔傲腾持久内存在内存和SSD之间新增加了一个存储层级，具备像内存一样的超低访问延迟，超高寿命与可靠性，同时还具备持久化存储和按字节访问的能力。在App Direct模式下，特定的应用程序可直接访问由英特尔傲腾持久内存带来的独立持久内存资源。

SmartX 联合创始人兼CTO张凯表示，基于英特尔傲腾持久内存的高性能，低延时，非易失等特性，SmartX希望打造以英特尔傲腾持久内存作为缓存，NVMe NAND SSD作为存储介质的全闪超融合解决方案。这个方案将大幅度改善业务系统延时，使得SmartX 产品可应用于对延迟要求最苛刻的核心业务。

张凯说，从成立开始，SmartX就非常关注性能，因为性能对于客户来说是一个非常有价值的指标，决定了可以支撑的业务类型，比如核心业务系统对性能要求非常高，如果说你的性能无法达到，就无法迁移到超融合系统上面。

所以，2019年SmartX启动代号为Sailfish（旗鱼，海洋中最快的鱼类）项目，将英特尔傲腾持久内存App Direct模式用于缓存加速，同时对 SmartX超融合软件SMTX OS进行全方面优化。

高性能、超低延迟的进化之路

众所周知，超融合带来的敏捷性、便捷性、易用性、可运维是被广泛认可的情况，很多行业客户开始大规模采购超融合系统，这已经证明超融合相比传统架构具有很大的优势。

但是问题也来了，相比裸金属服务器和中高端存储设备，在性能上，尤其在延迟上超融合是不是可以和传统架构一决高下，很多客户是有担心。“基于英特尔的全新存储硬件产品，我们从硬件到软件对整个系统进行了升级，充分发挥软件和硬件结合的优势，从而让超融合在性能上已经达到甚至是超越传统中高端存储所达到的性能。”张凯说。

为了充分发挥傲腾持久内存的能力，Sailfish项目对计算虚拟化到存储网络以及存储介质进行了端到端优化。而由于超融合架构的部署特点，以上的性能都必须在有限的计算资源实现，这一限制条件为Sailfish项目带来诸多的挑战。

张凯表示，在现有SMTX OS软件栈中，一个IO请求会经过：计算虚拟化层、网络层和存储层。IO请求在经过每一层系统时，都会带来额外的性能开销，这些性能开销来自于上下文切换，系统中断以及内存拷贝等等。为了充分发挥傲腾持久内存的性能，解决方案对这三个层次分别进行优化，以做到端到端的IO加速。

基于此，SmartX研发团队对系统进行了如下重大改进，SMTX ZBS分布式块存储专门开发了以DAX（Direct Access）模式访问持久内存设备的适配程序，缩短了IO堆栈以获得更佳的性能和更低的延时。

为了保证在有限的CPU资源下提升持久内存的带宽性能，SmartX技术团队创新地引入了IO/AT DMA引擎实现了异步写入持久内存的机制，使得单个CPU内核的最大写入带宽提升至10GB/s。

在存储层，Sailfish项目充分发挥英特尔傲腾持久内存App Direct模式低延迟和持久化存储的能力，保存集群中最经常被访问的数据。同时为了保证数据的可靠性和高可用特性，缓存的数据也会以副本的形式保存到其他的节点中。不仅如此，SMTX OS充分利用持久内存的字节访问特性重新设计了日志，有效解决日志写放大问题。并通过DMA方式，将内存与持久内存之间的数据拷贝任务，下放到硬件中完成，极大地提高了内存拷贝的效率，在提升存储性能的同时，不产生额外的CPU资源需求。

在计算虚拟化层，通过SMTX ELF Boost模式将存储虚拟化功能，从虚拟机中下放到存储软件栈中，避免了因IO请求经过虚拟机而产生额外的性能开销。同时通过VM与存储系统共享内存的方式，避免在IO路径上发生内存拷贝，直接通过vHost技术将虚拟机内存中的IO数据直接共享到ZBS上的vHost Target。

在存储网络层，通过使用RDMA over Converged Ethernet（RoCE ）进行网络IO加速，并将网络协议的实现部分，下放到网卡硬件上完成，充分利用网卡硬件的加速功能，极大地降低分布式存储在网络通信时的性能开销。

“经过以上优化，我们在IO性能提升了3.2倍基础上，在延迟上有85%的降低。这是我们Sailfish项目带来的价值，使用该方案，SmartX超融合一体机三个节点的最小系统即可达到120万IOPS，而且虚拟机端的IO延时可从ms级别降低至us级别。”张凯说。

目前，Sailfish项目中使用到的技术已经集成到了最新的SmartX Halo P系列一体机中。SmartX Halo P系列一体机不仅能够胜任交易类数据库、机器学习等对IO性能要求苛刻的核心应用场景，并且能够以更高性能提升虚拟机密度，进一步简化IT部署，降低整体拥有成本。SmartX Halo P系列一体机已经在金融行业进行了测试和部署。

与市场某主流中高端全闪阵列相比，三节点的SmartX Halo P系列一体机的8KB随机读性能为120万IOPS，达到全闪阵列的1.4倍，顺序读带宽达到25GB，是全闪阵列的2.1倍，同时应用端延迟只有100us，而全闪阵列仅控制器端延迟就达到了500us。不仅如此，P系列一体机依旧保持超融合架构简单、弹性的特点，并提供相比于中高端阵列，极具竞争力的总拥有成本。

张凯表示，得益于性能优化，该超融合解决方案可以应用在三个场景中：高性能、低延迟的核心数据库，比如Oracle数据库或者微软SQL Server；高性能高密度服务器的数据中心整合；AI机器学习。“仅占用少量计算资源，最小系统三节点即可达到甚至超过中高端全闪阵列指标，而应用端延迟远低于中高端全闪磁盘阵列。而相比中高端磁盘阵列，SmarX超融合产品的总拥有成本、系统弹性和易维护性具有巨大优势。”

持续创新的SmartX

超融合市场发展到现在已经非常成熟，一方面其降低了用户IT系统的复杂性和运维难度，让用户更多把自己的精力集中在业务层面。同时超融合业提供了更好的敏捷性，超融合是横向扩展、分布式存储架构，在并发性能上和传统架构相比会有一个非常大幅度的提升。

凭借优异的产品稳定性与特性，SmartX产品已经被银行、证券、保险、基金等金融行业用户应用生产环境。

SmartX CMO兼战略合作总监库依楠表示，虽然2020年开年受到疫情影响，但是疫情期间SmartX业务稳中有升，团队持续扩张。“我们在整个中高端市场继续深耕，拓展我们的优势。比如在金融领域，交通银行、陕西信合、东方证券、国泰君安、泰康集团、中信建投等都是SmartX的客户。特别是在几大国有银行中，使用的国产超融合产品只有SmartX一家。”

当然除了金融，SmartX也在拓展其他行业，比如制造业的华晨宝马、洁柔，商业连锁方面的美宜家，大型地产商恒大、碧桂园等。

能够取得这样的市场成绩，SmartX的合作伙伴功不可没。为此，SmartX制定了一系列的渠道拓展计划。在疫情发生后，SmartX举行了多场线上招募会，也进行了一系列的线上代理商的培训课程，参加过的渠道超过1000家，有合作意向的超过30%。

库依楠透露，SmartX正在推进基于超融合的私有云解决方案，因为越来越多的用户将超融合应用在私有云建设中，整个私有云的改造不是一个简单的云化过程，超融合提供了非常好的资源池整合方案，同时还实现了整个分布式架构到软化定义的转化，这种融合部署的方式也进一步简化了用户的IT基础架构。

目前，SmartX基于超融合的私有云解决方案已经在某大型国有银行和券商落地，超融合加上第三方云管平台，构建一个简单、成熟、稳定、弹性、开放性的IT基础架构，用户可以一步一步实现云化改造。

“超融合依旧是公司最重要的方向，我们的目标是要围绕超融合架构全面替代用户原有的IT基础架构。我们现在也在逐渐增加云原生相关的产品和解决方案，SmartX还是一如既往地围绕存储和计算的核心引擎进行突破。”库依楠说。

在云原生时代，SmartX会进一步加强分布式存储的持久化功能，比如在容器里部署分布式存储，同时计算引擎支持虚拟化容器统一的管理、编排。SmartX关注核心模块的自主开发，进而增加智能运维、双活等功能。

对于未来超融合的发展趋势，库依楠表示，SmartX的演进是围绕如何使用超融合真正替代用户原有的基础架构，让新IT基础架构具备生产就绪能力。“SmartX将持续携手英特尔等业内专业厂商，探索更多前沿技术在超融合系统中的应用，引领下一阶段超融合创新。”