天梭M13为何具有大型机水平的高可用性

天梭M13——不是大型机，可替代大型机

2016年底，浪潮隆重发布了新一代关键应用主机天梭M13，天梭M13可扩展1000个以上的计算核心，48TB内存，具有承载传统大型机应用的能力。从高端八路服务器，到可替代小型机的天梭K1，再到可承载大型机应用的新一代关键应用主机天梭M13，天梭M13是浪潮高端战略坚持step by step的结果，也形成了浪潮拥有面向关键业务计算三类应用场景的产品布局（商业智能分析、交易性关键应用、大型核心数据应用）。

在研制第一代八路服务器天梭 TS850的时候，浪潮就开始了对大型机市场的调研，直到2016年，天梭M13研发成功，这款产品凝结了浪潮对大型机的认识、对技术的慎重考虑——将M13作为一个强数据一致性的大规模交易系统来设计，以扩展性、可用性和灵活性为核心，实现可比、甚至超越大型机的整体技术水平。

天梭M13是迄今为止，我国自主研制的在线交易处理性能最强的单机服务器系统，提供基于应用的优化器，并支持国内外主流的数据库和应用平台，可以根据应用场景的差异性和特点，推荐硬件层和操作系统层的专家内核参数模板，用户可以根据业务需求进行灵活选择。天梭M13能够日处理业务几十亿笔，在实时数据分析、交易处理等各类应用场景中都具有良好的性能表现。

多层级RAS设计保障系统三个“不停顿”

相比扩展性和性能，天梭M13在稳定性方面的提升更为显著，达到了大型机的水平。稳定性源于多层级的RAS设计，即可靠性、可用性和可服务性，旨在确保让系统不出故障，即使一旦出现故障，要使之不影响、或者少影响系统运行，这不仅是一个复杂的技术问题，而是一个复杂的系统工程问题。

一方面，需要依靠产品设计的无缺陷、选用工业级器件、苛刻的品控和生产流程控制等来保证，另一方面，就是在资源故障发生时，甚至发生前，尽快将相关资源从系统中隔离出去，激活备用资源，或者将系统降级运行，不影响所承载业务的连续性，主要依靠不同层面的故障自处理技术和冗余设计实现。

天梭M13采用了自顶向下的多层级RAS设计方案，在硬件和操作系统层面具有专门的一体化智能诊断系统SFDP（System Failover Diagnosis & Prediction，SFDP），应用层面，有K-RAC高可用数据库集群方案，横向扩展系统性能的同时，能够很好的屏蔽单点故障，在数据中心层面，专业的异地双活容灾方案，当发生地震、水灾、断电等数据中心灾害时，业务可以自动切换到异地系统中，保障业务连续性不中断。

依靠全冗余设计及专门的一体化智能诊断系统SFDP，天梭M13可以做到“硬件故障不停机、单点故障不停机、本地系统毁损不停机”三个不停顿，为用户提供7*24 小时不停顿的核心业务保障。高可靠性、高可用性是天梭M13区别于一般服务器的主要特征。

浪潮集团副总裁胡雷钧表达了他对主机RAS设计的理解：“通过一体化的设计，从最底层的硬件到固件，到操作系统，再到应用平台和上层应用，需要有一套贯穿上下的设计体系来维护系统的高效、高可靠和高安全性。这种一体化设计，上贯穿到应用，下贯穿到硬件的设计思想，实际是天梭M13区别于我们原先做的各种不同的高端服务器的一个关键差异。”

SFDP系统：软硬件一体化的智能诊断系统

SFDP是一套软硬一体化的智能诊断系统，可以对多种事件源进行故障采集与检测，如CPU、内存、网卡、PCIE、以及死锁、XFS文件系统，配置可扩展的故障诊断引擎模块，包括机器学习关联算法、故障预测、运行时态健康分析，通过基于决策树算法，支持多种容错方式，并且支持以自学习的方式完善故障处理规则库，包括缓存刷新、寄存器禁用、硬件物理隔离、CPU和内存热插拔等，从而有效处理各类故障。SFDP系统集成在各个部分，只有一个统一的交互界面，就是操作系统的故障管理中心，故障管理中心可以查看部件状态、修订故障预测规则等。

三个层面的SFDP

SFDP是保障天梭M13高可用性的主要系统，分为链路、部件和系统三个层面，形成了对天梭M13整体性的加固和保护。

链路层面，主要是自动纠错，因为部件正常运行的过程中会有一定的错误概率，高温、电磁干扰、震动、链路失效等各种因素都可以引起数据失真，例如CPU的访存高速信道，误码率一般不高于10^-12，但是处理器主频为1-3G赫兹，也就是每秒10亿-30亿次，错误发生的次数并不少，所以信号校验、重传这样的措施必不可少的。天梭M13采用了链接级循环冗余码验证，保证了信息传递的完整性和一致性，当信号在传递过程中出现失真等错误时，接收端就会发现验证码错误，让信号重新传递，当重传达到一定次数后，系统就会认为该信号通道错误，将其标记为失效，将信号传输功能指定给其他的信号通道，并记入日志，报警。

部件层面，所有部件均为冗余热插拔设计，包括双电源平面冗余、时钟冗余等。

系统层面则在SFDP系统的统一支持下，系统能够及时侦测和预估部件的异常、故障，进行纠正或者隔离处理，当用户更换故障部件后，系统会将新部件纳入到系统中来。

高可用的两个实例

SFDP对于不同层次、不同部件执行的检测强度是不同的，对内存等核心部件检测强度最高，因为内存错误和内存故障是引起系统停机的主要原因之一，目前通用服务器的内存错误主要依靠ECC内存技术来处理（Error Checking and Correcting，错误检查和纠正），内存硬件失效主要依靠内存镜像和热备来解决。天梭M13不仅包括以上技术，还采用了浪潮开发的另外一项技术，IMD（Intelligent Memory Defender，智能内存保护）。IMD是SFDP系统的一部分。首先，SFDP在系统开机时即对内存进行高强度的内存诊断，发现的错误单元将被屏蔽，不进入OS可用内存区域。其次，SFDP在系统运行过程中，会实时监测每个内存单元的工作状态，对报错单元及其相关的内存单元进行针对性检测，结合独有算法预测，若判断有发生致命错误的趋势，结合OS主动进行隔离，预防内存故障导致的系统错误，屏蔽后的内存单元/区块根本不进入OS可用Memory，同时系统会根据所有的内存错误完善故障处理规则库，实现自学习，而被屏蔽的内存在线更换之后，会自动进入系统运行。 所有的上述处理都不需要停机重启。

在实际应用中，固件升级失败是一类少见、但是对于业务有着致命杀伤力的故障。SFDP提供了一套内核级微码的在线升级和自动回退方案，当一个控制器在升级失败，SFDP就会启用另外一个备用的控制器进行系统启动，并将原控制器进行回退，重新升级，避免固件等底层代码升级失败对系统的影响。

1. 1.  应用层面——单点故障不停机

应用层面，浪潮可以向用户提供基于M13的多活紧耦合并行数据库集群，最高支持16个节点，集群内部实现负载均衡，支持1对1等各种热备策略，停机节点的任务会自动被热备节点接管，因而任何一个甚至多个节点的故障，都不会影响业务运行。

天梭M13数据库集群所有的实例通过共享的数据库运行，集群架构对于上层应用完全透明，硬件系统的扩展不会带来引用系统复杂性的增加。

1. 2.  异地双活容灾——隔离数据中心灾害

浪潮开发了基于M13的异地双活容灾方案，可以实现“两地三中心”，M13采用了冗余PTP，通过GPS授时，提供秒脉冲来同步信号，可实现10微秒的精度，用于多数据中心时钟同步，保障容灾数据的时间一致性，保障异地金融、股票业务的高频交易时间一致性。这套方案采用了多重技术来保证生产数据库和备份数据库的数据一致性和完整性，容灾复制系统在数据同步时，完全严格按照生产系统的生产数据库中的交易顺序和流程完成。同时，还在数据的一致性方面提供方便快捷的数据比对功能，可以对系统中的数据进行严格的数据比对和检验。容灾复制系统除了对主系统的DML进行复制之外，还对生产系统的所有DDL进行捕获和复制，对主系统上的所有对象（如procedure、sequence、function、index、view、role、table等等）的变化都进行复制，以保证生产系统和备份系统的完全一致，备份系统能够完成业务的应急接管。

该方案同城双中心为同步复制，数据实时同步，RPO=0，异地无距离限制，另外，该方案可以提供多种同步方式和保护方式，通常备用数据库只读打开访问，包括报告、查询、排序、基于Web 的访问等，这样既可以保障生产库的性能，又可以充分利用灾备端数据库资源，保障业务安全的同时，也最大限度的提高了设备利用率。

主机的高可用设计永无止境

目前，浪潮已形成了完整的关键业务计算布局，覆盖了不同规模的各类关键应用系统。天梭TS860G3等适合承担各类商业智能分析系统；天梭K1可替代小型机，适合承担交易型关键应用系统；天梭M13则可替代大型机应用，专门针对各类“大型数据应用”，例如银行卡系统、个人信贷审批、会计系统、中央社保管理系统等。

胡雷钧表示，这三类产品不仅性能、扩展性是依次提升的，可用性设计更是如此，每一类产品在研发过程中，针对客户应用的技术需求，借鉴上一款产品的可用性设计，以不断完善正在研发的版本。

RAS特性是主机与一般服务器的主要区别，同时也是主机设计的一个难题，业界产品在技术上普遍具备了超过99.99%的高可用性，但是银行、保险、证券交易所等核心业务系统的宕机事件仍时有发生。100%的可靠是不存在的，但却是每一个主机研发人员所追求的，浪潮会从每一个点去完善和提高天梭系列关键应用主机的RAS设计，面向对稳定性和可用性极高的关键行业的关键业务，提供极致的高可靠、高可用的主机系统。