分布式系统下调用链追踪

引言

一个复杂的分布式系统，用户发起一个请求，这个请求可能调用几十到几百个服务，经过很多业务层，而每个业务又是多个机器集群，一个请求具体被随机到哪台机器上又无法确定，如果最后用户的请求失败，只返回一个错误提示，作为开发人员，该如何定位解决问题？你需要定位以下问题：

• 问题出在哪个服务，是你负责的服务还是调用别人服务的某一个环节。
• 同一个服务集群有多台机器，到底要去哪个机房哪台机器定位某条报错信息。
• 同一个接口可能有多次请求，到底是哪一次报错了。
• 多个服务之间调用顺序是怎样的。
• 如果需要响应速度优化，到底是哪个环节哪个服务耗时了，如何定位。

1、面试官：

分布式微服务环境下那么多机器，调用链又很长，你们是如何定位问题的？

问题分析：这个问题，如果你使用过微服务框架，对于服务治理你一定知道这种技术，如果作为微服务架构的小白，你只是知道一些基础知识，突然被问到这个问题，确实比较懵逼。这么多机器集群，我怎么知道每次服务打到哪个机器上了，我怎么知道到底是哪个环节抛异常了？

我：分布式系统中针对上述问题，我们急需一套链路追踪（Trace）系统来解决这些痛点，这个系统主要的任务就是收集各服务的日志，上报日志，分析日志，保存展示。其关键核心在于调用链，为每个请求生成全局唯一的ID（Traceld），通过Traceld 将不同系统的“孤立地”调用信息关联在一起，还原出更多有价值的数据。

（如果你还不明白到底怎么搞直接看看成品图）

通过一个Trace查询某一次请求，这个Trace是全剧唯一，通过这个链路追踪系统，你可以清楚的知道服务调用深度，涉及服务个数，每个服务调用的时间及状态，到底是哪个服务出现异常，具体到方法名，查找耗时长的链路时，可以通过在查询结果页面点击“耗时”二字，让数据以耗时升序或降序排列，都一目了然，上面的问题都得到解决了。

2、面试官：

你知道哪些成熟的调用链开源工具？ 

Google Dapper

Dapper一开始是一个自包含的跟踪工具，但后来发展成为一个监控平台，具有高性能，代码侵入性低，支持集群扩展特性。

dapper 处理日志分为3个阶段：

• 各个服务将span数据写到本机日志上；
• dapper守护进程进行拉取日志文件，将文件读到dapper收集器里；
• dapper收集器将结果写到bigtable中，一次跟踪被记录为一行。

阿里巴巴的分布式调用跟踪系统 - 鹰眼（EagleEye）

EagleEye 是一个以调用链追踪技术为核心的监控系统，通过收集，存储，分析分布式系统中的调用事件参数，协同开发人员进行故障定位，容量预估，性能瓶颈定位，系统请求链路梳理等，EagleEye 的开发也是基于Google Dapper 的设计思想。

图片来源：github EagleEye 社区

美团分布式会话追踪系统 - MTrace

MTrace是美团点评内部的分布式会话跟踪系统，也借鉴了2010年Google的 dapper，通过一个全局的ID将分布在各个服务节点上的同一次请求串联起来，还原原有的调用关系、追踪系统问题、分析调用数据、统计系统指标，MTrace支持美团内部RPC中间件，HTTP中间件，MySQL，Tair，MQ等中间件的数据埋点。

总结

无论哪个公司使用哪个框架，我们发现 trace 系统最终要解决的问题都是相同的，大致归纳如下：

• 复杂网络环境中定位问题，通过异常log绑定记录，轻松定位。
• 发现热点，发现瓶颈问题。
• 预估系统容量，按照上下游调用比例，粗略计算哪些机器需要提前扩容。
• 优化链路，通过链路分析，从更高的全局角度分析可以优化的点。