3153 字
16 分钟
监控与可观测性:链路追踪入门——一次请求的时间花在了谁身上

一个请求转了五手,两秒花在哪了#

周五晚上,订单接口的 p99 延迟突然从 300 毫秒涨到 2 秒。指标面板很诚实:它只告诉你「慢了」,不告诉你慢在哪一环。你去翻日志:网关说自己 30 毫秒就返回了,订单服务说大部分时间在等下游,库存服务说自己只干了 80 毫秒的活,支付和风控各执一词。五个服务的日志摊在五个窗口里,时间戳对不齐,请求 ID 也对不上——两秒钟像是掉进了一个没有灯的房间。

这正是链路追踪(Distributed Tracing)要解决的问题:给一次请求发一张全程通行证,让它穿过的每个服务都留下进出时间,最后拼成一棵完整的调用树,一眼看清这一次请求的时间具体花在了谁身上。这一篇把核心概念、OpenTelemetry 的位置、Jaeger 与 Grafana Tempo 的选型、采样策略一次讲清,最后聊排障和「什么时候不值得上」。

项目地址:https://github.com/jaegertracing/jaeger

先分工:指标、日志、链路各管一段#

支柱回答的问题粒度短板
指标系统慢不慢、错不错全局聚合不知道是哪一次请求出的事
日志某个点上发生了什么单机、单服务、单个事件跨服务拼不成完整路径
链路一次请求的时间花在谁身上单次请求的全程需要埋点,且要靠采样控成本

一句话:指标发现问题,日志解释局部,链路定位路径。本系列第一篇(三大支柱与监控选型)讲过三者的分工,这一篇专攻链路这一支。

核心概念:一棵树和一张通行证#

  • Trace:一次完整请求的全程记录,拥有全局唯一的 Trace ID。
  • Span:一个工作单元——一次 HTTP 调用、一条 SQL、一回 Redis 查询都算一个 Span,有名字、起止时间、状态和属性;Span 之间父子嵌套。
  • 上下文传播(Context Propagation):把 Trace ID 和当前 Span ID 随请求一起带给下游,下游的 Span 才能挂到同一棵树上。

拼出来大概长这样:

Trace 4bf92f3577b34da6(一次下单请求,共 1.98s)
├─ Span 网关路由 30ms
├─ Span 订单服务处理 1.90s
│ ├─ Span 库存查询 80ms
│ ├─ Span 风控校验 120ms
│ └─ Span 支付调用 1.68s ← 时间大头在这里
└─ Span 写操作日志 20ms

传播靠的是标准请求头:W3C Trace Context 定义的 traceparent 头会随 HTTP 请求自动带到下游。用 OpenTelemetry 的自动埋点时,常见 Web 框架和 HTTP 客户端都会帮你注入和提取;但自研客户端、消息队列、异步任务这些地方,上下文没有随请求透传,是后面排障里最高频的断链原因。Span 上还能挂属性(服务名、HTTP 状态码、数据库类型、错误标记),在 UI 里点开任意一个 Span 就能看到当时的现场。

OpenTelemetry:埋点只写一次,后端随便换#

过去每个后端都有自己的埋点 SDK,换后端等于把所有服务重埋一遍。OpenTelemetry(OTel)把这件事标准化了,它在整条链路里的位置是这样:

部件干什么
API / SDK应用内的埋点接口:产生 Span、传播上下文、做采样决策
OTLP统一的数据协议,链路、指标、日志都按它发出
Collector独立进程:接收(Receiver)、加工(Processor,如批处理、尾部采样)、转发(Exporter)到任意后端

应用只依赖 OTel SDK 并说 OTLP,后端今天用 Jaeger、明天换 Tempo,只改 Collector 的 Exporter,业务代码一行不动。Collector 不是必需品,应用可以直连后端;但多服务时强烈建议带上,它能把批处理、重试、采样这些脏活从应用里摘出去统一管理。对自建玩家来说,先按 OTel 埋点,是不会错的起手式。

落地时先用自动埋点:Java、Python、Node.js、Go 等主流语言都有现成的自动埋点包,挂上之后常见 Web 框架、HTTP 客户端、数据库驱动的 Span 就自动有了;业务关键路径再用手动埋点补自定义 Span 和属性。先广覆盖、再补深度,比一上来全手写推进得快得多。

后端二选一:Jaeger 还是 Tempo#

Jaeger:开箱即用,先跑起来#

Jaeger 是 CNCF 毕业项目,它的 all-in-one 镜像把收集、存储、查询和 UI 打包进一个容器:查询 UI 在 16686 端口,OTLP 接入走 4317(gRPC)和 4318(HTTP)。小规模直接用内存存储就能跑,先把调用树看清楚再说:

services:
jaeger:
image: jaegertracing/all-in-one:1.62
container_name: jaeger
restart: unless-stopped
environment:
- COLLECTOR_OTLP_ENABLED=true
ports:
- "16686:16686"
- "4317:4317"
- "4318:4318"

docker compose up -d 之后,浏览器打开 http://服务器IP:16686 就是查询界面。另外注意:16686 的 UI 本身没有登录鉴权,本机或内网用用没问题,要从公网访问就套一层带鉴权的反向代理,别把查询界面直接暴露出去。内存存储的代价要心里有数:容器重启后所有链路数据都会消失,只适合试水和低频排障;要长期留存就得换 Elasticsearch、OpenSearch 或 Cassandra 做后端,运维成本随之而来——这也是很多人后来转向 Tempo 的原因。

应用侧接入用 OTel SDK 的通用环境变量就能指过来:

Terminal window
OTEL_SERVICE_NAME=order-service
OTEL_EXPORTER_OTLP_ENDPOINT=http://127.0.0.1:4317
OTEL_TRACES_SAMPLER=parentbased_traceidratio
OTEL_TRACES_SAMPLER_ARG=0.2

手头还没有埋好的服务时,可以先手写一条 Span 验证 Jaeger 通不通:

Terminal window
curl -X POST http://127.0.0.1:4318/v1/traces \
-H "Content-Type: application/json" \
-d '{"resourceSpans":[{"resource":{"attributes":[{"key":"service.name","value":{"stringValue":"manual-test"}}]},"scopeSpans":[{"spans":[{"traceId":"5b8efff798038103d269b633813fc60c","spanId":"eee19b7ec3c1b174","name":"manual-span","kind":2,"startTimeUnixNano":"1730000000000000000","endTimeUnixNano":"1730000001000000000"}]}]}]}'

发完去 UI 里按服务名 manual-test 搜,能看到这条一秒钟的 Span,就说明接收链路是通的。

Tempo:和 Grafana 全家桶长在一起#

Grafana Tempo 的设计哲学完全不同:它只按 Trace ID 存取数据,后端直接用对象存储(S3、GCS 或自建 MinIO),不依赖大型索引数据库,链路存几个月的成本低得多,查询语言是 TraceQL。它的杀手锏是与 Grafana 生态的打通——在 Grafana 里从一条 Loki 日志点一下就能跳到对应 Trace,从指标图的尖峰点也能直达,三大支柱在同一个界面里互相跳转。代价是 Tempo 本身没有独立 UI,一切查询都在 Grafana 里完成;除了按 Trace ID 取全程之外,复杂条件检索不如 Jaeger 加 Elasticsearch 灵活。

维度Jaeger(all-in-one)Grafana Tempo
存储内存 / Elasticsearch / Cassandra对象存储(S3 / MinIO 等)
UI自带,16686 端口无,靠 Grafana
查询方式服务名、操作名、标签过滤TraceQL
与日志、指标联动弱强,Loki 与 Exemplars 可互相跳转
适合快速上手、小规模、独立部署已有 Grafana 栈、要长期留存

选型建议很直接:还没有 Grafana 栈、只想先看清调用链的,用 Jaeger;已经按本系列把 Prometheus、Grafana 和 Loki 搭起来的,Tempo 是更顺的归宿。

采样:别把每一次请求都存下来#

全量上报在测试环境没问题,进了生产就是灾难:高流量服务每秒几千次请求,每条链路几十个 Span,全量采样会先把 Collector 的 CPU、网络和后端磁盘吃满,监控系统自己先成为事故源。采样就是在「看见」和「成本」之间做交换,两种基本策略:

策略决策时机特点
头部采样(Head Sampling)请求刚进来时按比例决定采不采简单、开销低;但慢请求和错误请求不一定被留下
尾部采样(Tail Sampling)整条链路走完后按规则决定能只留出错的、慢的,信息量最高;需要在 Collector 里缓存整条链路,内存成本高

实务上是组合拳:头部先按 5% 到 20% 比例粗筛,Collector 再开尾部采样保住全部错误和慢请求。注意 OTel 里 parentbased 的含义:采样决定以链路源头为准并全程传播,同一个 Trace 不会出现一半服务采、一半不采的残缺树。采样率也不是一次定死的:发版、大促这类高风险时段可以临时调高,平稳期再降下来,前提是 Collector 和后端的余量心里有数。

WARNING

不要图省事把采样率设成 1.0 全量采集。先从 0.05 到 0.1 起步,看 Collector 与后端的负载再往上加;错误链路靠尾部采样保全,而不是靠全量硬扛把磁盘和性能吃掉。

Exemplars:从指标尖峰一键跳到现场#

Exemplars(范例)是把指标和链路缝起来的小机制:应用记录延迟直方图时,把当前请求的 Trace ID 挂在个别数据点上。于是 Grafana 的延迟图上,一个尖峰点不再只是数字——点开它就能直达那一次慢请求的完整链路(前提是后端能按 Trace ID 取链路,且 Grafana 数据源开启了 Exemplars 跳转)。排障动线因此变成:指标发现尖峰,Exemplar 跳到 Trace,看树定位慢的 Span,再跳回 Loki 看那台服务当时的日志。这也是本系列把 Grafana 放在链路之前讲的原因:没有统一的展示层,三大支柱就只是三个孤岛。

务实边界:不是所有系统都值得上#

链路追踪的价值随调用链深度增长;单体应用装上它,得到的只是一棵只有一层的方法调用树。

  • 单体应用:内部只有函数调用,用日志加指标再配合本地剖析就够了,链路收益有限。
  • 三五个小服务:调用关系一眼看穿,先给日志带上统一的请求 ID 手工串联,能解决八成问题。
  • 十几个服务起步:跨团队、异步消息混杂,一次请求转五手以上,链路追踪从锦上添花变成排障必需品。

不要为了凑齐「三大支柱」的说法硬上工具链——多一个系统就多一份埋点维护、采样调优和存储成本。先有复杂度,再上工具;先把多台机器纳管明白(见 多机监控纳管),再谈深水区。

排障#

UI 里搜不到任何链路。 按顺序查:应用真的产生并上报了吗,先看 Collector 或 Jaeger 的容器日志有没有连接和报错;采样率是不是被设成了 0 或极低;UI 的时间窗和时区有没有覆盖请求发生的时间——十次里有几次是时间窗选错。再确认服务名过滤和 OTEL_SERVICE_NAME 写的一致。

Span 断链,一棵树碎成好几棵。 十有八九是上下文没透传:自研 HTTP 客户端没带 traceparent 头、跨线程池或协程时上下文丢了、消息队列的消费者没从消息头里恢复上下文。修法是统一走 OTel 自动埋点,或在封装层集中注入提取,别在每个调用点手写。

Collector 连不上、后端没数据。 多半是端口和协议对不上:4317 是 gRPC、4318 是 HTTP,SDK 的 Endpoint 写错协议会直接失败,而且日志里往往只有含糊的连接错误。逐段验证:应用到 Collector、Collector 到后端,各打一条手工 Span,断点立刻现形。

只有根 Span,没有子 Span。 根服务埋了、下游没埋;或者下游埋了,但漏装了对应组件的 instrumentation 包——数据库、Redis、HTTP 客户端各有各的包,漏哪个就缺哪一层。

延迟数字对不上。 各机器时钟没同步(NTP)会让 Span 的起止时间漂移,出现子 Span 比父 Span 还长的怪象。先保证全舰队时间同步,再怀疑代码。

小结#

  • Trace 是一次请求的全程,Span 是其中的工作单元,上下文传播是把它们串成一棵树的那根线。
  • OpenTelemetry 统一了埋点与协议:应用说 OTLP,Collector 负责接收、加工、转发,后端随时可换。
  • 后端二选一:Jaeger 开箱即用,适合上手与小规模;Tempo 靠对象存储加 Grafana 联动,适合长期留存。
  • 采样是必修课:头部比例粗筛加尾部保住错误与慢请求,拒绝全量硬扛。
  • Exemplars 让指标尖峰能一键跳到具体 Trace,三大支柱至此真正合流。
  • 调用链有多深,链路追踪的价值就有多大;复杂度没到之前,先把指标和日志做扎实。
监控与可观测性:链路追踪入门——一次请求的时间花在了谁身上
https://www.anexns.cloudns.org/posts/monitoring-tracing/
作者
Anexns
发布于
2026-11-16
许可协议
CC BY-NC-SA 4.0