浙江移动微服务监控，秒级响应10亿级用户访问

《奇点临近》一书对技术进化有这样的描述，“技术正以指数级速度扩充其能力，创新者也在寻求成倍改进的能力。”“创新是乘法而不是加法。技术将继续加速发展，并将在第五纪元完成控制自己的前进步伐。”技术如何控制自己的步伐我们不得而知，现阶段，我们看到越来越多的企业在利用新技术，不断自我进化，并服务于客户。

浙江移动7×24小时“技术流”微服务不打折

作为中国移动的重要分支，浙江移动一直以“追求客户满意”为宗旨。为了更好地服务用户，浙江移动2015年便搭建了微服务运行监控平台，只是随着新技术的发展，该平台在一些方面稍显滞后，如缺乏内部核心指标的监控、异常分类及跟踪能力不足、调用链代码对应用有侵入、缺乏实时调控管理手段等问题，平台的升级改造被提上日程。

亚信科技作为浙江移动多年的合作伙伴，对该平台优缺点有很深的了解，在接到优化需求后，项目组在原有系统基础上，基于容器技术提出了一套完整的升级改造方案，通过修改探针埋点等方式减小了上线过程对业务的影响。而升级后，浙江移动用户最直接的感受是——真正体验到了7×24小时的全天候无间断服务，而不像以前经常因为系统升级而造成业务无法办理。

该项目赢得了浙江移动的高度认可，项目负责人陈航、褚小川表示：“新平台修复了运营中的老问题，将业务影响压到最低，新增了实例运行状态监控，输出的指标数据为运维人员提供了更多监控手段，极大缩短了问题定位的时间，同时优化了调用链数据的处理流程，能在“分钟级”展现用户服务调用情况，详细体现每一笔请求的业务调用关系，降低了故障排查的复杂度。”

微服务监控平台改造：开着飞机修飞机

而此前，浙江移动“微服务运行监控平台”的不足主要体现在：

首先，缺乏内部核心指标的监控：如线程、数据库连接、GC、网络连接、CPU、内存等；

其次，调用链代码侵入： Log4x通过硬编码埋点，对应用有侵入，影响应用以及整个调用链的性能；

第三，异常分类不足：无法对业务异常进行分析、分类，异常实例跟踪能力不足，不能通过异常信息定位问题；

第四，监控支撑处理能力不足：随着接入系统越来越多，原监控系统扩展能力不足。同时，缺少实时调控管理手段，监控指标出现告警时，无法快速介入；

最后，无法展示服务依赖关系：难以理清服务间的相互依赖程度，以及某服务出现异常时造成的影响范围。

浙江移动希望借助平台升级改造来消除以上不足，但前提是不能影响业务的正常运行，其难度比得上“开着飞机修飞机”，任何改动都牵一发动全身。

亚信科技：以最小代价实现最佳改造

于是， “如何以最小代价完成全面而系统的改造”就摆在了浙江移动合作伙伴——亚信科技这一头儿，在结合实践创新的基础上，以下方案浮出水面：

采用无侵入式探针埋点对目标系统进行数据采集，无业务改造量，运行数据通过后期清洗、聚合计算，会形成各类统计指标，并可视化展现在监控首页；

用统计指标说话，通过统计接口、集群、中心的调用情况，作为扩缩容依据；通过成功和失败次数统计，了解系统健康情况，作为系统优化基础；通过耗时统计，了解系统性能，作为系统调优的基础；

优化调用链，可展现请求的整个调用过程，每个调用环节的延时，轻松排查分布式系统下的异常，并定位问题所在；

对异常进行统计、分类，便于快速定位异常，实现高效运维；

展示服务的正反向依赖关系，任何新需求开发上线，都可以清晰地评估其影响范围；

监控能力可无限扩容，在对接配置中心后，可在线扩容升级。

亚信科技薛浩表示，“我们以最小代价，完成了对分布式系统架构的全面监控，收集监控数据的耗时几乎可以忽略不计。我们通过关键节点数据的收集，分析业务健康状态，并通过获取系统日志、系统堆栈信息、GC信息、运行参数等一系列运维手段，实现故障排查和系统保障。能够秒级响应10亿级用户访问量，并能快速无感知的定制客户需要收集的数据。”

截至目前，全新微服务运行监控平台的调用链可覆盖浙江移动26个业务中心，即全省95%的业务量，所有的远程调用都纳入了监控范围。虽然成绩显而易见，但薛浩认为，“技术的更迭永无止境，正如逆水行舟不进则退，不断迭代、让技术始终保持先进性，是我们的坚定追求。”