面板说「挂了」,但你想知道它是怎么坏的
凌晨三点,探针面板弹出一条告警:某台服务器离线。你打开面板,能看到的只有一条平直的心跳线和一个红色的状态点——它只能告诉你「挂了」,挂掉之前 CPU 是慢慢爬满的、内存是被某个进程一口口吃掉的、还是磁盘 I/O 先一步堵死,它一概不知。等你 SSH 上去,现场早就凉了,连复盘都无从下手。
Prometheus 解决的正是这个问题。它按固定间隔把每个服务的指标抓下来存成时间序列,事后你可以把任意一段时间拉出来回放:故障前十分钟内存曲线的斜率、接口延迟从 P50 到 P99 的爬升过程、错误率第一次抖动的确切时刻。上一篇我们聊过监控与可观测性的基本概念,这一篇动手把 Prometheus 本体部署起来,抓起第一个 Target,并把留存时间、热重载这些迟早要踩的配置一次配齐。
先理解它的工作方式:主动来抓
Prometheus 和很多监控工具最大的不同是拉取模型:不是被监控对象把数据推过来,而是 Prometheus 按配置主动去抓。每个被监控对象(官方叫 Target)只需在一个 HTTP 端点上暴露自己的指标,约定路径是 /metrics,内容是纯文本格式。Prometheus 按 scrape_interval 设定的节奏逐个访问这些端点,把返回的数值连同时间戳存进自带的时间序列数据库(TSDB)。
这个模型带来几个实际好处:目标活没活,抓取成功与否本身就是答案,抓不到就是 DOWN,不需要额外心跳;抓取节奏、超时、重试全在服务端一处配置,目标端无状态、无需改造;多台 Prometheus 抓同一个目标互不干扰。代价是短命任务(跑完就退出的批处理作业)可能等不到下一次抓取就消失了,那种场景要用 Pushgateway 中转,本系列后面会单独讲。
部署形态上,Prometheus 官方提供二进制和 Docker 镜像两种方式。本站一贯的习惯是容器化:官方镜像 prom/prometheus,默认端口 9090,配置和数据都外置挂载,升级换镜像即可。
部署:一个 Compose 搞定
先建目录,把配置文件和数据目录规划好:
mkdir -p /opt/prometheus/datacd /opt/prometheus写 prometheus.yml
这是 Prometheus 的主配置文件,先写一个能跑通的最小版本:全局参数加上第一个抓取任务——抓它自己。
global: scrape_interval: 15s # 默认抓取间隔 scrape_timeout: 10s # 单次抓取超时,必须小于间隔 evaluation_interval: 15s # 告警规则的评估间隔
alerting: alertmanagers: - static_configs: - targets: [] # 后续接入 Alertmanager 时填地址,如 alertmanager:9093
rule_files: # - "rules/*.yml" # 告警与记录规则文件,后续篇目再加
scrape_configs: - job_name: "prometheus" static_configs: - targets: ["localhost:9090"]几个字段先认清,后面所有篇目都围着它转:global 段是全局默认值,单个 job 可以覆盖;scrape_configs 里每一项是一个 job,job_name 是这组目标的名字,会成为指标上 job 标签的值;static_configs 是静态写死的目标列表,targets 里填 主机:端口。自监控 job 是个好习惯——Prometheus 先抓自己,你才能从它自身的指标判断抓取链路是否健康。
写 docker-compose.yml
services: prometheus: image: prom/prometheus:latest container_name: prometheus restart: unless-stopped command: - "--config.file=/etc/prometheus/prometheus.yml" - "--storage.tsdb.path=/prometheus" - "--storage.tsdb.retention.time=30d" - "--web.enable-lifecycle" ports: - "127.0.0.1:9090:9090" volumes: - ./prometheus.yml:/etc/prometheus/prometheus.yml - prometheus-data:/prometheus
volumes: prometheus-data:启动并确认状态:
docker compose up -ddocker compose psdocker compose logs --tail=50 prometheus浏览器打开 http://服务器地址:9090,能看到 Prometheus 自带的 Web UI 就说明本体起来了。这个界面不花哨,但查指标、看 Target 状态、临时验证 PromQL 表达式都靠它,是后面几篇的常用工具。
两个启动参数现在就配上
--storage.tsdb.retention.time=30d 是数据留存时间。TSDB 默认按时间留存 15 天,对个人服务器来说,看故障复盘经常需要往前翻一个月,这里直接设 30 天。留存越长吃磁盘越多,这是一笔要算的账:粗略估算,单个 Target 每秒约产生 1–2 字节的压缩后数据,一百个 Target、15 秒间隔,30 天大约在 10–20 GB 量级,具体取决于指标基数。先给数据卷留够空间,并养成看磁盘水位的习惯,具体排查方法在排障一节。
--web.enable-lifecycle 开启生命周期接口。开启后,改完 prometheus.yml 不必重启容器,一条命令热重载:
curl -X POST http://localhost:9090/-/reload返回 200 就说明新配置已生效。这个参数默认关闭,很多人第一次改配置发现不生效,就是卡在这里——没开这个参数,又没重启容器。注意它和 --web.enable-admin-api 是两回事,后者包含删数据等危险操作,不要顺手打开 admin API,本系列用不到它。
验证:Targets 页面验活
部署对不对,去 UI 的 Status → Targets 页面看。自监控 job 应该显示为 UP,Last Scrape 是十几秒内的时间,Scrape Duration 是毫秒级耗时。这一页以后每加一个 job 都要回来确认一次:
- UP:抓取正常,指标在持续入库。
- DOWN:抓取失败,右边会给出具体错误,如 connection refused(目标没监听)、context deadline exceeded(超时)、404(路径不对)等,照着错误查即可。
- 目标刚加进来时短暂显示 UNKNOWN 是正常的,等一个抓取周期即可。
再随手验证一条查询:在 Graph 页面的查询框输入 up,应该能查到 up{job="prometheus"} = 1。up 是 Prometheus 为每次抓取自动生成的指标,1 表示成功、0 表示失败,它是你以后写可用性告警的根基。
再往前一步:抓一个别的服务
自监控跑通后,加目标就是往 scrape_configs 里追加 job。假设另一台服务器上已经跑着一个暴露 /metrics 的服务,配置这样写:
- job_name: "example-service" scrape_interval: 30s static_configs: - targets: ["192.168.1.20:9100"] labels: env: "prod" host: "srv-02"注意三处细节:这个 job 单独把间隔放宽到 30 秒,覆盖了全局的 15 秒——不是所有目标都值得高频抓取,间隔越短,存储和目标端压力越大;labels 里手动补了 env 和 host 两个标签,之后查询时可以按环境、按机器筛选和聚合,这是静态配置下区分同类目标的常用手法;每个 job 的目标各自独立验活,一个 DOWN 不影响其他 job 的抓取。改完照旧先校验再热重载:
docker exec prometheus promtool check config /etc/prometheus/prometheus.ymlcurl -X POST http://localhost:9090/-/reload然后回 Targets 页面确认新 job 是 UP。至此,一套「改配置 → 校验 → 热重载 → 验活」的标准动作就成型了,后面接入 Node Exporter、各种应用 Exporter 时,重复的都是这套动作,区别只在目标端怎么把指标暴露出来。
指标四种类型,先混个脸熟
打开任意一个成熟 Exporter 的 /metrics,你会看到成百上千行指标。它们归为四种类型,理解类型才知道该用什么函数处理(查询语言 PromQL 会在PromQL 查询入门里系统讲,这里先认脸):
| 类型 | 含义 | 典型例子 |
|---|---|---|
| Counter | 只增不减的计数器,重启才归零 | 请求总数、错误总数 |
| Gauge | 可上可下的瞬时值 | 内存使用量、当前连接数 |
| Histogram | 分桶统计分布,可算分位数 | 请求延迟、响应大小 |
| Summary | 客户端预先算好的分位数 | 延迟 P50/P99(客户端侧) |
一句话区分:Counter 看的是「速率」,用 rate() 算每秒增量;Gauge 看的是「当前值」,直接画线;Histogram 和 Summary 都为延迟这类分布型数据而生,区别在分位数在哪一侧计算——Histogram 在服务端算、可以跨实例聚合,Summary 在客户端算、精度高但不能聚合,所以实际部署里 Histogram 用得更多。
安全提醒
WARNINGPrometheus 的 9090 端口默认没有任何身份验证,谁能访问这个端口,谁就能查到你全部监控数据,还能通过生命周期接口重载配置。不要把 9090 裸奔在公网:像上面的 Compose 示例一样只绑定
127.0.0.1,远程查看时走 SSH 隧道,或者套一层带鉴权的反向代理(如 Nginx Proxy Manager 加访问控制)再对外。监控数据泄露出去,等于把整套服务的运行状态、接口路径和版本信息拱手送人。
排障
Target 一直是 DOWN。 先看 Targets 页面给出的错误原文。connection refused 多半是目标进程没起来或端口写错,在 Prometheus 容器内 wget -qO- http://目标:端口/metrics 能否拿到文本可以快速定界;如果目标在另一台机器,先确认防火墙与安全组放行了抓取端口;路径 404 则检查目标暴露的是不是 /metrics,有些应用挂在别的路径下,需要在 job 里用 metrics_path 指定。
改了 prometheus.yml 不生效。 三种可能:没开 --web.enable-lifecycle 又没调 /-/reload,配置根本没重载;配置文件是通过单文件挂载进容器的,某些编辑器保存时换了 inode,容器里看到的还是旧文件,改用重建容器或目录挂载解决;YAML 语法写错导致重载失败,此时 /-/reload 会返回错误,容器日志里也有明确行号,先用官方自带的校验工具过一遍:
docker exec prometheus promtool check config /etc/prometheus/prometheus.yml养成习惯:每次改完配置先 promtool check,通过了再 reload,能省掉一半折腾。
磁盘被 TSDB 吃满。 先确认是不是 Prometheus 的数据目录在涨:du -sh 看数据卷,再到 UI 的 Status → TSDB Status 页面看每个 job 的指标基数(Cardinality),基数爆炸通常是某个 Exporter 或业务指标把高变值(如用户 ID、完整 URL)打进了标签。处置顺序:先把 retention.time 调小并重启争取空间,再定位高基数指标,在抓取侧用 metric_relabel_configs 丢弃。切记不要在容器运行时手动删 TSDB 的数据块文件,删坏块结构会导致 Prometheus 启动失败,只能整库重来。
抓取总是超时。 Targets 页面看 Scrape Duration,若逼近 scrape_timeout,多半是目标端 /metrics 生成太慢(常见于数据量大的 Exporter 全量计算),或网络跨地域延迟高。对策是给这个 job 单独放宽 scrape_interval 与 scrape_timeout,而不是改全局值拖慢所有 job。
小结
这一篇把 Prometheus 本体立了起来:拉取模型、Compose 部署、30 天留存、生命周期热重载、自监控验活,再加上指标四类型的初步印象。此时它只在盯着自己看,真正的价值要等数据进来——下一篇我们给每台服务器装上 Node Exporter,把 CPU、内存、磁盘、网络这些主机指标全部接入;如果你之前跟过 Docker 系列的监控篇,也可以对照看看Docker 场景下的 Prometheus 部署有何异同。地基已经打好,后面就是往里接数据、写查询、配告警三步走。