3187 字
16 分钟
监控与可观测性:Grafana 部署与看板实战

先说结论:Prometheus 的自带界面只能验活#

上一篇把 Prometheus 装好之后,你大概已经打开过它自带的 Web 界面:Targets 页看看抓取目标是不是 UP,表达式浏览器里临时敲一条 PromQL,确认曲线能出来。这个界面用来「验活」足够了,但真要日常看数,它缺的东西太多:多条曲线叠加对比很别扭,没有单位换算和阈值线,想从一台机器切到另一台机器得重写表达式,更没有像样的权限和分享能力。

这就是监控栈里的经典分工:Prometheus 负责采集和存储,Grafana 才是给人看的那张脸。Grafana 本身不存任何监控数据,它只负责把数据源里的数字画成看板:折线、仪表盘、热力图、表格,再配上时间范围切换、变量筛选和自动刷新。上一篇的 Prometheus 部署与抓取配置 解决的是「数从哪来」,这一篇解决「数怎么看」:用官方镜像把 Grafana 部署起来,接入 Prometheus,导入社区最常用的主机看板,再把配置沉淀成代码。

项目地址:https://github.com/grafana/grafana

部署:和 Prometheus 放进同一个 Compose#

Grafana 官方镜像是 grafana/grafana,默认端口 3000,数据目录 /var/lib/grafana(看板、用户、数据源配置都存这里面的 SQLite 数据库里),所以这个目录必须挂卷持久化。最省事的做法是把它加进上一篇 Prometheus 的同一个 Compose 文件,两个服务天然在同一网络里,后面填数据源地址能省掉一堆麻烦:

services:
grafana:
image: grafana/grafana
container_name: grafana
restart: unless-stopped
environment:
GF_SECURITY_ADMIN_USER: admin
GF_SECURITY_ADMIN_PASSWORD: ${GRAFANA_ADMIN_PASSWORD}
GF_USERS_ALLOW_SIGN_UP: "false"
ports:
- "127.0.0.1:3000:3000"
volumes:
- grafana-data:/var/lib/grafana
depends_on:
- prometheus
volumes:
grafana-data:

几个细节先交代清楚:

  • 管理员密码不要明文写在 Compose 里,用同目录 .env 文件里的 GRAFANA_ADMIN_PASSWORD 变量注入,.env 本身记得加进 .gitignore。
  • GF_USERS_ALLOW_SIGN_UP=false 关掉自助注册,自用场景没必要开放任何人建号。
  • 端口只绑 127.0.0.1,先在本机访问,对外开放走后面的反向代理。

启动并确认状态:

Terminal window
docker compose up -d
docker compose ps
docker compose logs --tail=50 grafana
curl -I http://localhost:3000/login

浏览器打开 http://localhost:3000 就能看到登录页。用 .env 里预设的密码登录即可;如果你没设 GF_SECURITY_ADMIN_PASSWORD,默认账号密码是 admin / admin,首次登录会强制改密,这一步不要跳过。

WARNING

默认账号 admin / admin 是公开信息,装好之后第一件事就是改掉管理员密码。同时 3000 端口不要图省事直接映射到公网:Grafana 里能看到你全部机器的指标细节,属于敏感信息。对外访问请套一层带 HTTPS 和访问控制的反向代理(比如本系列和自建服务系列里用过的 Nginx Proxy Manager),或者干脆只走内网和 VPN。

添加 Prometheus 数据源#

登录后先进 Connections → Data sources → Add data source,选 Prometheus,只需要填一个 URL:

http://prometheus:9090

这里的 prometheus 是 Compose 里的服务名。两个容器在同一网络,Grafana 后端会把这个名字解析到 Prometheus 容器。最常见的坑就是在这里填 http://localhost:9090:Grafana 容器里的 localhost 指的是它自己,不是宿主机,更不是 Prometheus 容器,填完点 Save & test 必然报错。如果你的 Grafana 是单独部署的,要么把两个容器接进同一个外部网络后继续用服务名,要么填宿主机内网 IP 加映射端口,不要想当然写 localhost。

填完点 Save & test,出现绿色的成功提示,说明 Grafana 已经能从 Prometheus 拉数了。顺手把这个数据源设为默认(Default),后面导入看板时少选一次。

导入社区看板:先站在 1860 的肩膀上#

自己从零画看板很费时间,社区看板库 grafana.com 已经沉淀了大量现成模板,导入只需要一个 ID。主机监控最常用的就是 Node Exporter Full,看板 ID 1860,几乎是装完 Node Exporter 后的标配。

导入路径:Dashboards → New → Import,在输入框里填 1860 点 Load,Grafana 会从 grafana.com 拉回这块看板的定义。导入确认页上有一个关键动作:把数据源选成上一步加好的 Prometheus,然后点 Import。

导入成功后你会看到一块信息量很大的看板:CPU、内存、磁盘、网络、负载、文件句柄……全都有,前提是 Prometheus 那边确实在抓 Node Exporter 的指标(job 和 instance 的来历见 Prometheus 那一篇)。如果整块板全是 No data,先别怀疑看板,去排障小节对一遍变量和时间范围。

除了 1860,同一个导入入口还能装很多现成看板:Docker 容器、Nginx、MySQL 各有社区模板。原则是先导入现成的用起来,觉得哪里不顺手再自己改,比从空白画布开始高效得多。

看板变量:一块板看所有机器#

1860 这块板顶部有两个下拉框:$job 和 $instance。这就是 Grafana 的模板变量在起作用:看板里的每条查询写的不是写死的机器名,而是变量占位,切换下拉框,整块板所有图表一起换到另一台机器。这就是「一板多机」——机器从 3 台涨到 30 台,看板还是这一块。

变量的定义在看板右上角 Settings → Variables 里,1860 用的核心写法是:

label_values(node_uname_info, job)
label_values(node_uname_info{job="$job"}, instance)

label_values 把 Prometheus 里某个指标的标签值捞出来当选项,第二个变量还引用了第一个变量的值做级联过滤。你自己建变量时照着这个套路来就行:先定 job,再定 instance,最后所有面板查询里用 {job="$job", instance="$instance"} 引用。

再说两个每天都会用的控件:右上角的时间范围(Last 1 hour / Last 6 hours / Last 24 hours)和旁边的自动刷新(30s、1m)。排障时先把时间范围拉宽确认「到底有没有数」,日常盯盘再切回短范围加自动刷新。很多「看板没数据」的乌龙,最后发现是时间范围停在某个没数据的时段。

图表设置:图例、单位和阈值#

导入的看板能直接用,但有几个设置值得按自己的习惯调一遍,调一次受益所有面板:

  • 图例(Legend):多曲线面板把图例格式写成 {{instance}} 只显示机器名,比默认一长串标签清爽得多;图例位置放底部并切成表格模式,还能顺带看到每条曲线的 max、avg、current。
  • 单位(Unit):内存、磁盘、网络这类面板一定要设对单位。字节类选 bytes(IEC),Grafana 会自动换算成 GiB;比例类(比如 CPU 使用率算出来是 0 到 1 的小数)选 Percent(0.0-1.0),不要选成 0-100 的 Percent,否则 0.85 会显示成 0.85% 而不是 85%。
  • 阈值(Thresholds):给磁盘使用率这类面板加一条 85% 的红色阈值线,扫一眼就知道哪块盘快满了,不用逐个读数。

自己建一块面板#

现成看板之外,总有些指标是自己关心的。在任意看板点 Add → Visualization,选数据源后在查询框里写 PromQL,比如主机 CPU 使用率:

100 - (avg by(instance) (rate(node_cpu_seconds_total{job="$job", instance="$instance", mode="idle"}[5m])) * 100)

写查询时多用变量占位而不是写死标签值,这块板以后换机器、复制到别的看板都能直接用。PromQL 的函数和聚合写法在 PromQL 查询语言入门 里有系统讲解,这里不展开。

顺带一提,Grafana 不只接 Prometheus:本系列后面要装的 Loki 日志聚合 也是加一个数据源进同一个 Grafana,指标和日志在一块界面里对照看,这正是它作为统一可视化层的位置。

Provisioning:把数据源和看板当代码管理#

在 Web 界面里点出来的配置都存在 Grafana 的数据库里,容器重建、换机器迁移时全靠数据卷,出了问题也没法回滚。生产级的玩法是 provisioning:用 YAML 文件声明数据源、用 JSON 文件存放看板定义,Grafana 启动时自动加载,整个目录进 Git 管理。

先给 Compose 加两条挂载:

volumes:
- grafana-data:/var/lib/grafana
- ./provisioning:/etc/grafana/provisioning
- ./dashboards:/var/lib/grafana/dashboards

数据源声明文件 provisioning/datasources/prometheus.yaml:

apiVersion: 1
datasources:
- name: Prometheus
type: prometheus
access: proxy
url: http://prometheus:9090
isDefault: true
editable: true

看板加载器 provisioning/dashboards/default.yaml,告诉 Grafana 去哪个目录捞看板 JSON:

apiVersion: 1
providers:
- name: default
orgId: 1
folder: ''
type: file
disableDeletion: true
updateIntervalSeconds: 30
options:
path: /var/lib/grafana/dashboards

然后把调好的看板通过 Share → Export 导出 JSON,放进 dashboards/ 目录,重启 Grafana 就会自动出现。editable: true 建议保留,这样界面里临时改的数据源还能存回去;看板 JSON 一旦被 provisioning 接管,界面里改完记得重新导出覆盖文件,不然下次重启会被文件版本盖掉。数据源和看板都进 Git,监控系统才算真正可复制、可回滚,这也是本系列后面所有组件统一的管理方式。

组织、文件夹与权限#

Grafana 有 Organization(组织)、Folder(文件夹)和 Viewer / Editor / Admin 三档角色:组织之间的数据源和看板完全隔离,文件夹用来给看板分组并单独授权。个人自用一个默认组织加几个文件夹就够了,团队共用时再按组织拆分、给只看不改的人发 Viewer,别把 Admin 满天飞。

告警方面只点明分工:Grafana 自带一套统一告警(Unified Alerting),但本系列走的是 Alertmanager 路线——告警规则写在 Prometheus 侧、由 Alertmanager 统一去重分组和发送,Grafana 专心做可视化,两边不要同时开告警,免得同一件事收到两份通知。

最后摆正一下和已有工具的位置:Uptime Kuma 回答的是「服务还活着吗」,是存活探测;Grafana 回答的是「活得怎么样、趋势往哪走」,是把指标拉成时间维度看。两者互补,不互相替代。

排障#

数据源 Save & test 报错,连不上。 十有八九是地址写错:容器里填了 localhost、两个服务不在同一网络、或者端口写错。对照检查:docker compose ps 确认两个服务都在,用 docker compose exec grafana cat /etc/hosts 之类的方式不现实(官方镜像工具很少),最直接的是把 URL 换成服务名 http://prometheus:9090 再测;单独部署的,确认 Grafana 容器能解析并访问目标地址,必要时把两个容器接进同一个外部网络。

看板导入成功,但所有面板 No data。 按顺序查三件事:第一,时间范围,右上角切到 Last 6 hours 排除时段乌龙;第二,变量,$job 的实际取值要和 Prometheus 里的 job 名一字不差(很多人 Prometheus 里写的是 node-exporter,看板默认找的却是别的值),$instance 也要选中具体机器而不是空着;第三,数据源,导入时是否选错了数据源。还不行就去 Prometheus 界面直接执行看板里的一条原始查询,确认指标本身存在。

导入看板时报错,或者面板显示缺插件、样式错乱。 社区看板有版本兼容问题:太老的看板可能依赖已经被新版 Grafana 移除的 Angular 面板插件,太新的看板又可能用了旧版没有的特性。处理顺序:先把 Grafana 镜像升级到较新的稳定版再导入;导入页如果提供多个 revision,换一个稍旧的版本试;个别面板缺插件的,在看板里把那个面板换成内置的 Time series 面板重建查询即可。

容器启动即退出,日志报 permission denied。 Grafana 进程在容器里以 uid 472 运行。用命名卷一般不会碰到这个问题;如果改成了宿主机目录绑定挂载,需要把目录属主改对:chown -R 472:472 目录路径,再重启。

管理员密码忘了。 不用重装,进容器重置:

Terminal window
docker compose exec grafana grafana-cli admin reset-admin-password 新密码

重置后记得同步更新 .env 里的预设值,避免下次重建容器又变回旧密码。

小结#

这一篇把监控栈的「脸」立起来了:Grafana 用官方镜像和 Prometheus 同 Compose 部署,管理员密码用环境变量预设、3000 只绑回环、对外套反代;数据源地址记住用服务名不要用 localhost;社区看板 1860 一键导入先把主机监控跑起来,再靠 $job / $instance 变量实现一板多机;最后用 provisioning 把数据源和看板沉淀成 Git 里的代码。下一篇进入 Loki,把日志也接进这同一块 Grafana 界面。

监控与可观测性:Grafana 部署与看板实战
https://www.anexns.cloudns.org/posts/monitoring-grafana/
作者
Anexns
发布于
2026-11-16
许可协议
CC BY-NC-SA 4.0