凌晨三点出问题,你打开面板能看到什么?
凌晨三点,手机突然响了:网站打不开。你睡眼惺忪地打开监控面板,CPU 曲线正常,内存还有富余,磁盘也没满,可用户就是无法下单。再过几分钟,群里开始有人问“是不是数据库挂了”“是不是新版本有问题”“到底慢在哪一步”。这时你会发现,知道“出事了”只是第一步,真正耗时间的是回答后面一连串问题:影响了多少人?从什么时候开始?错误集中在哪个接口?请求卡在网关、应用、数据库还是第三方服务?
这篇文章先不急着安装某个工具,而是把监控与可观测性的基本概念理顺:监控负责及时发现异常,可观测性负责在异常发生后追问原因;指标、日志、链路各解决什么问题;USE、RED 与四大黄金信号该怎么用;SLI、SLO、SLA 和错误预算又有什么区别。把这张地图看懂,后面选 Prometheus、Grafana、Loki 还是 OpenTelemetry,就不会只是照着教程堆组件。
参考文档:https://opentelemetry.io/docs/concepts/observability-primer/
监控和可观测性,回答的不是同一个问题
监控(Monitoring)更像体检报告和烟雾报警器。它预先定义一组指标和阈值,持续判断系统是否处于预期状态,例如 CPU 使用率是否过高、HTTP 5xx 是否激增、证书还剩多少天到期。监控最擅长回答的是:坏没坏、坏了多少、从何时开始坏。
可观测性(Observability)则强调系统对外输出的数据是否足够丰富,能否让运维者在没有预先写好问题清单的情况下,从外部现象反推内部状态。它更关注:为什么坏、坏在哪里、影响了谁、下一步查什么。一个系统不是“装了 Grafana 就有可观测性”,也不是“日志很多就一定查得清”。关键在于数据之间能不能关联,问题出现时能不能沿着时间、服务、请求一路追下去。
| 维度 | 监控 | 可观测性 |
|---|---|---|
| 核心问题 | 系统是否正常 | 系统为什么不正常 |
| 典型手段 | 指标、阈值、健康检查、告警 | 指标、日志、链路、事件与上下文关联 |
| 适合场景 | 已知故障模式、容量与可用性巡检 | 未知故障、复杂调用链、偶发慢请求 |
| 输出结果 | 红绿状态、趋势曲线、告警通知 | 可下钻的证据链与定位路径 |
两者不是替代关系。没有监控,异常可能没人知道;没有可观测性,知道了异常也可能只能靠猜。监控负责发现问题,可观测性负责解释问题。对小团队来说,目标不是把概念做满,而是让每一次故障都能更快地从“有人报错”走到“证据指向某个环节”。
三大支柱:指标、日志与链路
业内常把可观测性数据分成三大支柱:指标(Metrics)、日志(Logs)和链路追踪(Traces)。它们观察的是同一套系统,只是粒度、成本和用途不同。
指标:便宜、聚合,适合长期趋势和告警
指标是随时间变化的数值,例如每秒请求数、CPU 使用率、内存占用、队列长度、HTTP 错误数。指标通常按固定间隔采集,并按服务、实例、状态码等标签聚合,因此查询快、存储成本相对可控,特别适合画趋势图和触发告警。
指标的弱点是信息被聚合了。你能看到 /checkout 接口过去五分钟的 P95 延迟升到 2 秒,却看不到某一个失败请求到底传了什么参数、在哪一层报错。指标像医院的体温、血压和心率,适合持续观察,却不能代替完整病历。
日志:细节最全,但量大且需要结构
日志记录离散事件:一次请求何时到达、调用了哪个接口、返回什么状态码、抛出了什么异常、关联的订单或任务是什么。故障细节往往藏在日志里,尤其是错误堆栈、业务状态变化和外部依赖返回结果。
日志的问题是量大、格式不一、检索成本高。若日志只是随手打印的文本,故障时只能靠关键词碰运气;若能统一成结构化字段,带上时间、服务、级别、请求 ID、接口和错误码,日志就会从“文本仓库”变成可筛选的证据库。日志适合回答“这一件事当时发生了什么”,但不适合长期计算全局趋势,那是指标的工作。
链路:把一次请求的全程串起来
链路追踪记录一次请求经过的所有环节。一个 Trace 由多个 Span 组成,每个 Span 表示一段工作,例如网关转发、应用处理、SQL 查询、Redis 访问或调用支付接口。把这些 Span 按父子关系和耗时排开,就能看到请求总共花了 800 ms,其中 620 ms 卡在一条 SQL 上,还是 500 ms 等在第三方接口。
链路最擅长定位“慢在哪”和“错误从哪一层冒出来”,尤其适合微服务与多层调用。但它的采集、存储和采样成本通常高于指标,数据模型也更复杂。对于只有一两台服务器、几个容器的自建场景,未必需要第一天就上完整链路系统;先把指标和日志做好,往往收益更直接。
| 支柱 | 记录什么 | 最擅长回答 | 主要代价 |
|---|---|---|---|
| Metrics | 聚合后的数值时间序列 | 趋势如何、何时异常、是否该告警 | 细节少,受高基数影响大 |
| Logs | 一条条离散事件 | 某次请求或任务当时发生了什么 | 数据量大、检索与治理成本高 |
| Traces | 一次请求的完整调用路径 | 慢在哪、错在哪一层 | 接入与采样复杂、存储成本较高 |
三者之间还需要一根线把它们串起来:时间戳、服务名、版本、实例、请求 ID 或 Trace ID。没有统一上下文,面板、日志和链路各说各话;有了关联,才能从一条告警跳到对应时间段的日志,再跳到具体请求链路。这也是本系列后面讲 Prometheus 指标体系 时,会反复强调命名和标签规范的原因。
看资源用 USE,看服务用 RED
面对几十张图,新手最容易陷入“什么都看、什么都看不出”的状态。两个经典方法可以帮你建立观察顺序:USE 方法看资源,RED 方法看服务。
USE 方法由 Brendan Gregg 提出,针对每一类资源检查三件事:
- Utilization(利用率):资源有多忙,例如 CPU 使用率、磁盘利用率、网络带宽占用。
- Saturation(饱和度):有多少工作在排队,例如 CPU 运行队列、磁盘等待、连接池排队数。
- Errors(错误):资源本身发生了多少错误,例如磁盘 I/O 错误、网卡丢包、连接失败。
只看利用率并不够。一个磁盘利用率 70% 时可能已经排队严重,一个连接池使用率不高也可能因为错误而不可用。饱和度往往比利用率更早暴露“快撑不住了”的信号。
RED 方法则站在服务请求的角度,关注:
- Rate(请求量):每秒收到多少请求。
- Errors(错误率):失败请求占多少,错误类型是什么。
- Duration(耗时分布):请求要多久,重点看 P95、P99,而不是只看平均值。
Google SRE 提出的四大黄金信号与 RED 高度相通,包括延迟(Latency)、流量(Traffic)、错误(Errors)和饱和度(Saturation)。可以把它们理解为服务健康检查的最小集合:用户请求多不多、快不快、错不错、系统离成功能上限还有多远。
| 方法 | 观察对象 | 核心问题 | 典型指标 |
|---|---|---|---|
| USE | CPU、内存、磁盘、网络、连接池 | 资源是否忙、是否排队、是否出错 | 利用率、队列长度、I/O 错误 |
| RED | API、Web 服务、任务消费者 | 请求是否成功、是否足够快 | QPS、错误率、P95/P99 延迟 |
| 四大黄金信号 | 整个服务 | 用户体验与容量是否恶化 | 延迟、流量、错误、饱和度 |
实战中不要只盯平均延迟。平均值会把长尾请求藏起来:99 个请求只要 10 ms,1 个请求等了 10 秒,平均值看起来依然不高,但那 1% 的用户已经无法忍受。这也是为什么耗时要用直方图和分位数表达,而不是只采集一个平均数。
如果你已经在用 Linux 自带工具和脚本巡检,可以把这套方法与 Linux 服务器监控 对照起来看:前者解决“机器层面先看什么”,USE 与 RED 则帮你把观察范围从机器扩展到服务。
SLI、SLO、SLA:先量出来,再定目标,最后才谈承诺
可用性讨论最容易混淆三个词:SLI、SLO 和 SLA。
SLI(Service Level Indicator) 是服务质量的量化指标,例如请求成功率、P95 延迟低于 300 ms 的请求占比、数据处理新鲜度。它回答“实际表现是多少”。
SLO(Service Level Objective) 是团队给自己定的内部目标,例如 30 天内请求成功率不低于 99.9%,或 95% 的请求在 300 ms 内完成。它回答“我们希望达到什么水平”。
SLA(Service Level Agreement) 是对客户或业务方的正式协议,通常带补偿、赔付或合同后果。它回答“没做到要付出什么代价”。SLA 一般应比 SLO 留有余量,因为等 SLA 被打破时,往往已经不是内部预警,而是对外违约。
| 名词 | 本质 | 示例 | 面向对象 |
|---|---|---|---|
| SLI | 测量值 | 过去 30 天成功率 99.93% | 系统与团队 |
| SLO | 内部目标 | 30 天成功率不低于 99.9% | 工程与产品团队 |
| SLA | 正式承诺 | 低于 99.5% 按比例补偿 | 客户与合同双方 |
SLO 最有价值的副产品是错误预算(Error Budget)。若 30 天成功率 SLO 是 99.9%,允许失败的比例就是 0.1%。换算成停机时间,30 天大约可容忍 43 分钟;换算成请求量,若一个月有 100 万次请求,大约允许 1000 次失败。错误预算不是鼓励故障,而是把可靠性变成可管理的额度:预算充足时可以更快发布,预算快耗尽时就应暂停高风险变更,优先修复稳定性问题。
定 SLO 时要从用户感受出发,而不是从“机器活着”出发。进程在线、端口能通,并不等于用户能登录、下单或上传文件。对于自建服务,先给关键路径定一两个简单 SLO 就够了,例如“首页与核心 API 30 天成功率不低于 99.9%”“P95 延迟不超过 800 ms”。目标太多、口径不清,最后只会变成墙上的数字。
告警哲学:为症状告警,每条都必须能行动
告警不是越多越好。真正好的告警应该满足三个条件:它代表用户正在受影响或即将受影响;值班人收到后知道先做什么;如果不处理,后果明确。换句话说,告警应基于症状,而不是把每一个可能的原因都做成报警。
例如“CPU 使用率超过 90%”只是一个原因信号。CPU 高可能来自正常批处理,也可能完全不影响用户;反过来,CPU 不高时,应用也可能因为数据库锁、线程池耗尽而不可用。更值得告警的是“过去 5 分钟结账接口错误率超过 5%”“P99 延迟持续高于 2 秒”“SLO 错误预算燃烧速度异常”。这些是用户能感知到的症状。至于根因是 CPU、磁盘还是某条 SQL,应该通过仪表盘、日志和链路继续下钻,而不是让每一种猜测都半夜叫醒人。
每条告警还应附带处理入口:对应的仪表盘链接、常用查询、最近变更、第一步检查和升级路径。收到告警后还要翻文档、问同事、找面板,这条告警就没有设计完整。对于不要求立即处理的问题,应进入工单、日报或周报,而不是占用紧急告警通道。
WARNING不要一上来就追求“全家桶”。先把指标采集、仪表盘和症状告警跑通,再补结构化日志与检索;链路追踪等到调用关系真的复杂、慢请求靠日志查不清时再引入。组件越多,维护成本越高,告警噪音也越容易失控。
告警分级同样重要。核心服务不可用、数据损坏风险、错误预算快速燃烧,属于需要立即响应的级别;单副本异常但服务仍可用、容量预计一周后不足,可以先通知并安排处理;纯信息类变化只记录不打扰人。如果每条告警都喊“紧急”,最终结果不是系统更可靠,而是所有人都学会忽略告警。
对于已经在用轻量面板的自建场景,Komari 探针 这类工具适合先解决节点在线、资源水位和基础通知;当你需要更细的服务指标、告警规则和长期趋势时,再进入 Prometheus 与 Alertmanager 的体系。工具升级应由问题驱动,而不是由“别人都在用”驱动。
高基数:为什么几个标签能把指标系统拖垮
高基数(High Cardinality)是新手最容易踩的坑。指标系统中的每组唯一标签组合,都会生成一条时间序列。假设一个指标有 20 个实例、30 个接口、5 个状态码,组合数是 20 × 30 × 5 = 3000 条序列,看起来还可控。若再加上 10 万个用户 ID,序列数立刻变成 3 亿,采集、索引、内存和查询都会被拖垮。
问题不在于“标签不能用”,而在于标签值必须相对有限且稳定。适合做标签的通常是服务名、实例、接口模板、状态码、地区、版本等枚举型字段;不适合的是用户 ID、订单号、请求 ID、完整 URL、IP 地址、错误消息原文等近乎无限增长的值。
| 字段 | 适合放进指标标签吗 | 原因 |
|---|---|---|
service="api" | 适合 | 取值有限,便于聚合 |
status="500" | 适合 | 状态码范围可控 |
route="/orders/:id" | 适合 | 使用路由模板而非真实 ID |
user_id="123456" | 不适合 | 用户越多,序列越多 |
request_id="..." | 不适合 | 每个请求都产生新组合 |
url="/orders/98765" | 不适合 | 路径参数导致组合爆炸 |
请求级细节应该放在日志和链路里,通过请求 ID 检索,而不是塞进指标标签。指标负责聚合与趋势,日志和链路负责个体细节,这正是三大支柱分工的体现。若你用 Docker 部署监控组件,也要留意采集目标和标签增长对资源的影响,相关思路可与 Docker 监控实战 一起看。
小规模自建场景:先指标加日志,链路按需补
家用服务器、个人 VPS 和小团队业务,没必要复制大厂的完整平台。更务实的顺序是:
- 先做指标:覆盖主机资源、容器状态、关键服务请求量、错误率、延迟和外部可用性探测。确保故障能被发现,趋势能回看。
- 再做日志:统一时间与时区,保留服务名、级别、请求 ID 等结构化字段,设置轮转与保留周期。确保故障发生后能查到现场。
- 补好告警:只为用户症状和明确风险设置紧急告警,配上仪表盘与处理步骤,定期删掉无人响应的噪音规则。
- 最后按需上链路:当系统出现跨服务调用、第三方依赖多、慢请求难以定位时,再引入 OpenTelemetry 与链路后端,并用采样控制成本。
存储保留也要分层:高频指标保留一到四周用于排障,关键趋势可降采样后保留更久;日志按价值设置天数,不要无限堆在本机磁盘;链路可只采样错误请求与慢请求。监控系统本身也要被监控,至少要知道采集器是否存活、磁盘还剩多少、告警通道是否可用。否则最讽刺的情况就是:业务系统凌晨挂了,而监控系统早在三天前就因为磁盘写满悄悄停了。
常见误区
误区一:装了面板,就等于有可观测性
面板只是展示层。若指标没有统一命名、日志没有请求 ID、告警点不开对应证据,面板再漂亮也只能让人“看个热闹”。可观测性体现在故障时能不能快速下钻和验证假设。
误区二:数据越多越好
无节制采集高频指标、全量日志和全量链路,会带来存储、查询和维护成本。数据策略应围绕问题设计:哪些指标用于告警,哪些日志用于审计与排障,哪些请求值得采样。能回答问题的数据才是资产,否则只是账单。
误区三:只监控机器,不监控用户路径
CPU、内存正常,不代表登录、支付、上传都正常。除了主机指标,还应有外部黑盒探测和关键业务接口检查。监控视角要从“服务器活着”推进到“用户能完成任务”。
误区四:阈值拍脑袋,告警靠复制
把网上模板的 CPU 80%、内存 90% 原样搬来,往往与自己的业务节奏不符。阈值应结合历史基线、容量变化和用户影响调整,并通过复盘不断删改。没有负责人、没有处理动作、长期无人响应的告警,应降级或删除。
误区五:把可用性目标定成 100%
100% 可用既不现实,也会让团队不敢发布和维护。SLO 与错误预算的意义,就是承认故障不可避免,并把可靠性投入放在最影响用户的地方。与其追求口号,不如先守住一个可测量、可复盘的 99.9%。
小结:先建立证据链,再追求工具齐全
监控与可观测性的核心,不是某个产品名,而是一套分工:指标告诉你趋势和异常,日志保留现场细节,链路还原请求路径;USE 帮你看资源,RED 与四大黄金信号帮你看服务;SLI 量化现实,SLO 设定目标,错误预算决定变更节奏;告警只打扰真正需要行动的时刻。
本系列接下来会按落地顺序展开:先用 Prometheus 建立指标采集与查询,再补 Exporter 与 Grafana 仪表盘,随后接入 Alertmanager 做像样的告警,然后讲日志聚合、黑盒探测、OpenTelemetry 链路追踪,最后回到 SLO 实践与日常巡检。第一步仍然是这篇的概念地图——下次凌晨三点被告警叫醒时,你至少要知道先看哪类数据、每个数字能证明什么、又不能证明什么。