监控与可观测性系列
从可观测性三大支柱讲起:Prometheus 与 Grafana 的指标体系、Loki 日志聚合、链路追踪入门,再到黑盒探测、状态页、告警分级与多机统一监控,把服务器和服务真正看住。全系列共 15 篇,按下面的顺序读下来即可。
基础篇
先立概念,再把 Prometheus 与主机指标跑起来 1 监控与可观测性:先分清坏没坏,再追问为什么坏 从指标、日志与链路三大支柱出发,讲清 USE、RED、四大黄金信号、SLO 与错误预算,并给出小规模自建场景的务实落地顺序。 2 监控与可观测性:Prometheus 部署实战,从第一个 Target 到热重载 用 Docker Compose 部署 Prometheus:写好 prometheus.yml、抓起第一个 Target、留存与热重载参数一次配齐,把服务从「挂没挂」监控到「怎么一点点坏的」。 3 监控与可观测性:node_exporter 主机指标全解 Prometheus 装好只是空架子,主机指标全靠 node_exporter:Docker 部署、collector 开关、textfile 自定义指标与关键指标解读一篇讲透。
指标深化篇
PromQL、看板、容器监控与轻量替代方案 4 监控与可观测性:PromQL 实战手册——先抄模板,再理解语法 从数据类型、标签选择器、rate() 到 histogram_quantile(),用一套可直接套用的 PromQL 模板解决 CPU、内存、磁盘、网络、HTTP 与容器监控查询。 5 监控与可观测性:Grafana 部署与看板实战 用官方镜像部署 Grafana,接入 Prometheus 数据源、导入 Node Exporter Full 看板、用变量实现一板多机,再把数据源与看板用 provisioning 当代码管理。 6 监控与可观测性:cAdvisor 给每个容器装一块仪表盘 用 cAdvisor 持续采集每个容器的 CPU、内存、网络与磁盘指标并接入 Prometheus,定位到底是哪个容器在偷吃资源。 7 监控与可观测性:VictoriaMetrics——1 核 1G 的小机器也能长期存数据 单二进制的轻量时序数据库 VictoriaMetrics:资源占用明显低于 Prometheus,兼容 remote_write 与 PromQL 生态,用 Docker Compose 在小内存 VPS 上长期保留监控数据。
日志与链路篇
日志聚合与分布式链路追踪探测与告警篇
黑盒探测、状态页、告警链与降噪设计 10 监控与可观测性:blackbox_exporter 黑盒探测——站在用户的位置看你的服务 用 blackbox_exporter 从外部视角探测 HTTP、TCP、DNS 与 ICMP:模块配置、Prometheus relabel 经典写法、证书到期告警与排障全流程。 11 监控与可观测性:Gatus 把状态页写进一个 YAML 文件 用 Gatus 以配置即代码的方式管理拨测与状态页:一个 config.yaml 声明全部端点、条件与告警,进 Git 可审查可复制,告别在网页后台里点点点。 12 监控与可观测性:Alertmanager 告警链实战,分组抑制静默一次配好 Prometheus 只负责发现问题,真正决定你半夜会不会被刷屏的是 Alertmanager:路由分组、抑制、静默与 Telegram/Webhook/邮件接收器全流程实战。 13 监控与可观测性:告警规则设计与降噪——少而准,比多而吵活得久 告警规则设计与降噪方法论:先分清 page 与 ticket,按症状优先和四大黄金信号写规则,用 for 防抖、SLO 燃烧率与 P1/P2/P3 分级响应,把半夜被叫醒的次数降下来。