写在前面:排障先看指标,不要先猜
数据库报警或者业务喊慢的时候,新手的第一反应是重启,老手的第一反应是看数据。本文是数据库系列的收官篇,把三家数据库的日常监控要点和五大高频故障的排查路径汇总成一份速查手册:平时用它做巡检,出事时照着它一步步定位。
先立一条通用原则:任何数据库问题,先看四个维度——连接、延迟、资源、错误日志。连接是不是被打满了,查询延迟是不是突增,CPU/内存/磁盘/IO 哪个到顶了,错误日志里有没有新报错。九成问题在这四步里就能定位到方向。监控不是装个面板看个热闹,核心是知道每个数字背后的含义和正常范围。
还有个前提认知:宿主机层面的资源(磁盘空间、内存使用)要用系统命令看,数据库内部状态(谁在跑什么 SQL、锁在等什么)要用各家自己的视图看,两层结合才完整。df -h、free -h、top 这老三样永远是第一步。
PostgreSQL:看活动会话与慢查询
此刻谁在干什么:pg_stat_activity
这是 PostgreSQL 排障的第一命令,相当于数据库版的 top:
-- 查看当前所有连接在执行什么SELECT pid, usename, application_name, state, wait_event_type, now() - query_start AS duration, queryFROM pg_stat_activityWHERE state != 'idle'ORDER BY duration DESC;重点字段:state 是 active(执行中)还是 idle in transaction(事务开着不提交,最常见的连接占用元凶);wait_event_type 为 Lock 说明在等锁。发现某个查询卡了很久,可以先温和取消、再考虑杀连接:
SELECT pg_cancel_backend(pid); -- 取消该会话正在执行的查询SELECT pg_terminate_backend(pid); -- 直接断开整个连接(更狠,后手)连接数总览与上限:
SELECT count(*) FROM pg_stat_activity; -- 当前连接数SHOW max_connections; -- 上限(默认 100)历史慢查询:pg_stat_statements
实时视图只能看当下,找「历史上最慢的 SQL」要装扩展 pg_stat_statements(在 postgresql.conf 里加 shared_preload_libraries = 'pg_stat_statements' 后重启,再执行 CREATE EXTENSION pg_stat_statements;):
-- 按总耗时排序找最值得优化的 SQLSELECT query, calls, total_exec_time, mean_exec_time, rowsFROM pg_stat_statementsORDER BY total_exec_time DESCLIMIT 10;配合慢日志双保险:把 log_min_duration_statement = 1000(毫秒)打开,超过 1 秒的语句自动记进日志。定位出慢 SQL 之后怎么优化索引,去看 《PostgreSQL 索引与查询优化入门》。
另外两个巡检点:长事务会阻止垃圾回收导致表膨胀,用 SELECT pid, now() - xact_start AS age FROM pg_stat_activity WHERE xact_start IS NOT NULL ORDER BY age DESC; 定期查;复制延迟在备库上用 SELECT now() - pg_last_xact_replay_timestamp() AS replay_lag; 查看,背景见 《主从复制入门》。
MySQL:看进程、慢日志与 Performance Schema
实时状态:SHOW PROCESSLIST 与状态计数器
SHOW FULL PROCESSLIST; -- 当前每个连接在执行什么、已运行多久SHOW GLOBAL STATUS LIKE 'Threads_connected'; -- 当前连接数SHOW VARIABLES LIKE 'max_connections'; -- 连接上限(默认 151)SHOW GLOBAL STATUS LIKE 'Slow_queries'; -- 累计慢查询条数SHOW FULL PROCESSLIST 里 State 列出现大量 Waiting for ... lock 或某条 SQL 的 Time 值很大,方向就找到了。杀会话用 KILL <Id>,先 KILL QUERY <Id> 只杀语句不行再杀连接。
慢查询日志:定位慢 SQL 的主战场
[mysqld]slow_query_log = ONslow_query_log_file = /var/log/mysql/slow.loglong_query_time = 1开启后用官方工具 mysqldumpslow 做聚合分析(按出现次数或总耗时排序),比肉眼翻日志高效得多:
mysqldumpslow -s t -t 10 /var/log/mysql/slow.log # 总耗时最高的 10 条mysqldumpslow -s c -t 10 /var/log/mysql/slow.log # 出现次数最多的 10 条更细的维度(某条 SQL 的锁等待、扫描行数分布)可以查 Performance Schema 的 events_statements_summary_by_digest 视图,前提是该功能开启(MySQL 8.4 默认开)。找到慢 SQL 后的优化手段在 《MySQL 索引与慢查询优化》 里系统讲过,监控负责发现,优化负责根治,分工明确。
InnoDB 状态
引擎层面的锁等待、死锁、缓冲池命中情况看:
SHOW ENGINE INNODB STATUS\G输出很长,重点看 LATEST DETECTED DEADLOCK(最近一次死锁的双方 SQL)和 TRANSACTIONS 段里长时间 ACTIVE 的事务。死锁偶发一两次不用慌,频繁出现就要回去改业务的加锁顺序。
Redis:INFO 是总入口
Redis 的监控高度集中,一条 INFO 命令给出全部关键指标,分段查看更清晰:
redis-cli INFO stats # 命令统计:总命令数、每秒命令数 instantaneous_ops_per_secredis-cli INFO memory # 内存:used_memory_human、used_memory_rss、mem_fragmentation_ratioredis-cli INFO clients # 客户端:connected_clients、blocked_clientsredis-cli INFO persistence # 持久化状态(见持久化那篇)redis-cli INFO stats | grep keyspace_hits # 缓存命中redis-cli INFO stats | grep keyspace_misses # 缓存未命中几个要盯紧的数字:
- 命中率 = hits / (hits + misses),长期低于 90% 说明缓存策略或容量有问题
- mem_fragmentation_ratio(内存碎片率),在 1.0–1.5 之间正常,超过 1.5 可以考虑开启自动碎片整理
activedefrag yes,远小于 1 说明在用 swap,Redis 一旦用上 swap 延迟会暴涨,必须处理 - evicted_keys:被内存淘汰策略赶走的键数。持续增长说明内存不够用或
maxmemory设得太小,业务可能在悄悄丢缓存 - blocked_clients:卡在
BLPOP等阻塞命令上的客户端数,异常升高要查消费者
慢命令排查用内置慢日志:
CONFIG SET slowlog-log-slower-than 10000 # 记录执行超过 10 毫秒的命令(单位微秒)SLOWLOG GET 10 # 看最近 10 条慢命令实时看命令流量可以用 redis-cli MONITOR,但它会把每条命令都打印出来,生产环境高峰期开 MONITOR 本身就能把 Redis 拖慢,只适合短时间抓样本或低峰期使用。查大键用 redis-cli --bigkeys,查内存热点键用 redis-cli --memkeys 或 MEMORY USAGE key 单个分析。
五大高频故障排查路径
| 故障现象 | 先查什么 | 常见根因 | 处理方向 |
|---|---|---|---|
| 连接数打满,新连接报错 | 各家的活动会话视图 | 连接泄漏、长事务不提交、连接池配置过大 | 杀僵尸会话、修应用连接释放、调大上限只是缓兵 |
| 磁盘空间爆满 | df -h + 找大文件 | binlog/WAL 堆积、备份文件没清理、慢日志无限增长 | 清理与轮转策略、归档改到其他盘、扩容 |
| 突然变慢 | 慢查询视图 + top | 新上线的全表扫描 SQL、统计信息过期、IO 被其他进程抢占 | 加索引/改 SQL、更新统计信息、隔离资源 |
| 主从延迟飙升 | 复制状态视图 | 大事务、从库硬件弱、网络抖动 | 拆大事务、从库扩容、强一致读切回主库 |
| Redis 内存溢出/被杀 | INFO memory、系统日志 | 没设 maxmemory、大键写入、内存泄漏型用法 | 设上限+淘汰策略、拆大键 |
逐条展开最要命的两个:
连接数打满。报错通常是 PostgreSQL 的 too many clients already 或 MySQL 的 Too many connections。先用活动会话视图看连接都是谁、什么状态:如果大量 idle in transaction(PG)或 Sleep(MySQL),基本是应用没正确释放连接或事务没提交。临时救急可以杀掉空闲时间最长的会话腾出名额,但不要第一反应就调大 max_connections——连接数翻倍意味着内存和调度开销翻倍,掩盖泄漏只会让下次爆得更惨。正解是修应用+上连接池(如 PgBouncer)。
磁盘爆满。数据库对磁盘满的反应都很剧烈:轻则拒绝写入,重则进程崩溃。排查用 du -sh 逐层找大头,数据库机器上常见的三大户是:日志类(binlog、WAL、慢日志)、备份文件、数据文件本身。预防靠策略:binlog 设过期天数(见 《数据库备份与恢复全攻略》)、日志做轮转、磁盘使用率超过 80% 就告警,别等 100% 才知道。
WARNING排障时最忌讳「没留现场就重启」。重启能解决一部分问题,但会把活动会话、锁等待、错误上下文全部清掉,根因永远查不出来,下次还会再犯。正确顺序是:先截图留存关键视图输出(活动会话、状态变量、错误日志尾部),再做处置,重启永远是最后选项。
指标速查表
| 指标 | PostgreSQL | MySQL | Redis |
|---|---|---|---|
| 当前连接 | pg_stat_activity 计数 | Threads_connected | connected_clients |
| 正在执行的 SQL | pg_stat_activity | SHOW FULL PROCESSLIST | CLIENT LIST(看 cmd 列) |
| 历史慢查询 | pg_stat_statements | 慢日志 + mysqldumpslow | SLOWLOG GET |
| 复制延迟 | pg_last_xact_replay_timestamp() | Seconds_Behind_Source | INFO replication |
| 内存/容量 | pg_database_size() | information_schema.tables 算库大小 | INFO memory |
| 锁等待 | pg_locks(granted = false) | SHOW ENGINE INNODB STATUS | 无锁概念,看 blocked_clients |
常见问题
Q:要不要上 Prometheus + Grafana 做监控面板? 数据量和机器数少时,各家自带命令完全够用,先把命令练熟。机器上了规模(比如 5 台以上数据库)再上 Prometheus 导出器(postgres_exporter、mysqld_exporter、redis_exporter)+Grafana 面板做统一看板和告警,顺序不要反:不懂指标含义,面板再漂亮也只是装饰。
Q:慢日志文件本身变得很大怎么办?
说明慢查询量不小,先解决问题再谈文件。文件处理上,MySQL 可以 SET GLOBAL slow_query_log = OFF 后轮转再打开,或用系统 logrotate 管理;根本上要把慢 SQL 逐条优化掉,慢日志应该越记越薄才对。
Q:业务说慢,但数据库各项指标都正常?
那就往外查:网络延迟、应用服务器资源、连接池等待、DNS 解析。数据库的 duration 统计的是库内执行时间,应用感知的耗时还包括排队和网络。用同一条 SQL 在数据库本机直连测一次、从应用机测一次,对比就知道时间花在哪一段了。
Q:Redis 的 used_memory 超过 maxmemory 会怎样?
取决于淘汰策略 maxmemory-policy:默认 noeviction 是拒绝写入并报错;缓存场景一般设 allkeys-lru 或 volatile-lru 自动淘汰冷数据。报错 OOM command not allowed 就是撞上了 noeviction 的上限,先查是不是忘了改策略。
Q:监控多久巡检一次合适? 关键指标(连接数、延迟、磁盘、复制状态)建议自动化每分钟采集+阈值告警;人工巡检每周扫一遍慢查询 Top 10 和容量趋势就够了。容量趋势最容易被忽视:磁盘和数据量是线性增长的,看趋势能提前几周预知爆盘日期。
小结
监控排障的功夫在平时:熟悉三家的活动视图和慢查询入口,知道每个核心指标的正常范围,出事时按「连接、延迟、资源、日志」四步走,留好现场再处置。至此数据库系列 18 篇全部完成:从选型、Docker 快速搭建,到 PostgreSQL、MySQL、Redis 三家的安装、权限、命令、优化与持久化,再到备份、复制、监控的通用运维体系。把这套东西在自己的服务器上跑一遍,你的数据库基本功就成型了。