2744 字
14 分钟
数据库性能监控与常见故障排障
2026-11-15

写在前面:排障先看指标,不要先猜#

数据库报警或者业务喊慢的时候,新手的第一反应是重启,老手的第一反应是看数据。本文是数据库系列的收官篇,把三家数据库的日常监控要点和五大高频故障的排查路径汇总成一份速查手册:平时用它做巡检,出事时照着它一步步定位。

先立一条通用原则:任何数据库问题,先看四个维度——连接、延迟、资源、错误日志。连接是不是被打满了,查询延迟是不是突增,CPU/内存/磁盘/IO 哪个到顶了,错误日志里有没有新报错。九成问题在这四步里就能定位到方向。监控不是装个面板看个热闹,核心是知道每个数字背后的含义和正常范围。

还有个前提认知:宿主机层面的资源(磁盘空间、内存使用)要用系统命令看,数据库内部状态(谁在跑什么 SQL、锁在等什么)要用各家自己的视图看,两层结合才完整。df -h、free -h、top 这老三样永远是第一步。

PostgreSQL:看活动会话与慢查询#

此刻谁在干什么:pg_stat_activity#

这是 PostgreSQL 排障的第一命令,相当于数据库版的 top:

-- 查看当前所有连接在执行什么
SELECT pid, usename, application_name, state, wait_event_type,
now() - query_start AS duration, query
FROM pg_stat_activity
WHERE state != 'idle'
ORDER BY duration DESC;

重点字段:state 是 active(执行中)还是 idle in transaction(事务开着不提交,最常见的连接占用元凶);wait_event_type 为 Lock 说明在等锁。发现某个查询卡了很久,可以先温和取消、再考虑杀连接:

SELECT pg_cancel_backend(pid); -- 取消该会话正在执行的查询
SELECT pg_terminate_backend(pid); -- 直接断开整个连接(更狠,后手)

连接数总览与上限:

SELECT count(*) FROM pg_stat_activity; -- 当前连接数
SHOW max_connections; -- 上限(默认 100)

历史慢查询:pg_stat_statements#

实时视图只能看当下,找「历史上最慢的 SQL」要装扩展 pg_stat_statements(在 postgresql.conf 里加 shared_preload_libraries = 'pg_stat_statements' 后重启,再执行 CREATE EXTENSION pg_stat_statements;):

-- 按总耗时排序找最值得优化的 SQL
SELECT query, calls, total_exec_time, mean_exec_time, rows
FROM pg_stat_statements
ORDER BY total_exec_time DESC
LIMIT 10;

配合慢日志双保险:把 log_min_duration_statement = 1000(毫秒)打开,超过 1 秒的语句自动记进日志。定位出慢 SQL 之后怎么优化索引,去看 《PostgreSQL 索引与查询优化入门》。

另外两个巡检点:长事务会阻止垃圾回收导致表膨胀,用 SELECT pid, now() - xact_start AS age FROM pg_stat_activity WHERE xact_start IS NOT NULL ORDER BY age DESC; 定期查;复制延迟在备库上用 SELECT now() - pg_last_xact_replay_timestamp() AS replay_lag; 查看,背景见 《主从复制入门》。

MySQL:看进程、慢日志与 Performance Schema#

实时状态:SHOW PROCESSLIST 与状态计数器#

SHOW FULL PROCESSLIST; -- 当前每个连接在执行什么、已运行多久
SHOW GLOBAL STATUS LIKE 'Threads_connected'; -- 当前连接数
SHOW VARIABLES LIKE 'max_connections'; -- 连接上限(默认 151)
SHOW GLOBAL STATUS LIKE 'Slow_queries'; -- 累计慢查询条数

SHOW FULL PROCESSLIST 里 State 列出现大量 Waiting for ... lock 或某条 SQL 的 Time 值很大,方向就找到了。杀会话用 KILL <Id>,先 KILL QUERY <Id> 只杀语句不行再杀连接。

慢查询日志:定位慢 SQL 的主战场#

[mysqld]
slow_query_log = ON
slow_query_log_file = /var/log/mysql/slow.log
long_query_time = 1

开启后用官方工具 mysqldumpslow 做聚合分析(按出现次数或总耗时排序),比肉眼翻日志高效得多:

Terminal window
mysqldumpslow -s t -t 10 /var/log/mysql/slow.log # 总耗时最高的 10 条
mysqldumpslow -s c -t 10 /var/log/mysql/slow.log # 出现次数最多的 10 条

更细的维度(某条 SQL 的锁等待、扫描行数分布)可以查 Performance Schema 的 events_statements_summary_by_digest 视图,前提是该功能开启(MySQL 8.4 默认开)。找到慢 SQL 后的优化手段在 《MySQL 索引与慢查询优化》 里系统讲过,监控负责发现,优化负责根治,分工明确。

InnoDB 状态#

引擎层面的锁等待、死锁、缓冲池命中情况看:

SHOW ENGINE INNODB STATUS\G

输出很长,重点看 LATEST DETECTED DEADLOCK(最近一次死锁的双方 SQL)和 TRANSACTIONS 段里长时间 ACTIVE 的事务。死锁偶发一两次不用慌,频繁出现就要回去改业务的加锁顺序。

Redis:INFO 是总入口#

Redis 的监控高度集中,一条 INFO 命令给出全部关键指标,分段查看更清晰:

Terminal window
redis-cli INFO stats # 命令统计:总命令数、每秒命令数 instantaneous_ops_per_sec
redis-cli INFO memory # 内存:used_memory_human、used_memory_rss、mem_fragmentation_ratio
redis-cli INFO clients # 客户端:connected_clients、blocked_clients
redis-cli INFO persistence # 持久化状态(见持久化那篇)
redis-cli INFO stats | grep keyspace_hits # 缓存命中
redis-cli INFO stats | grep keyspace_misses # 缓存未命中

几个要盯紧的数字:

  • 命中率 = hits / (hits + misses),长期低于 90% 说明缓存策略或容量有问题
  • mem_fragmentation_ratio(内存碎片率),在 1.0–1.5 之间正常,超过 1.5 可以考虑开启自动碎片整理 activedefrag yes,远小于 1 说明在用 swap,Redis 一旦用上 swap 延迟会暴涨,必须处理
  • evicted_keys:被内存淘汰策略赶走的键数。持续增长说明内存不够用或 maxmemory 设得太小,业务可能在悄悄丢缓存
  • blocked_clients:卡在 BLPOP 等阻塞命令上的客户端数,异常升高要查消费者

慢命令排查用内置慢日志:

Terminal window
CONFIG SET slowlog-log-slower-than 10000 # 记录执行超过 10 毫秒的命令(单位微秒)
SLOWLOG GET 10 # 看最近 10 条慢命令

实时看命令流量可以用 redis-cli MONITOR,但它会把每条命令都打印出来,生产环境高峰期开 MONITOR 本身就能把 Redis 拖慢,只适合短时间抓样本或低峰期使用。查大键用 redis-cli --bigkeys,查内存热点键用 redis-cli --memkeys 或 MEMORY USAGE key 单个分析。

五大高频故障排查路径#

故障现象先查什么常见根因处理方向
连接数打满,新连接报错各家的活动会话视图连接泄漏、长事务不提交、连接池配置过大杀僵尸会话、修应用连接释放、调大上限只是缓兵
磁盘空间爆满df -h + 找大文件binlog/WAL 堆积、备份文件没清理、慢日志无限增长清理与轮转策略、归档改到其他盘、扩容
突然变慢慢查询视图 + top新上线的全表扫描 SQL、统计信息过期、IO 被其他进程抢占加索引/改 SQL、更新统计信息、隔离资源
主从延迟飙升复制状态视图大事务、从库硬件弱、网络抖动拆大事务、从库扩容、强一致读切回主库
Redis 内存溢出/被杀INFO memory、系统日志没设 maxmemory、大键写入、内存泄漏型用法设上限+淘汰策略、拆大键

逐条展开最要命的两个:

连接数打满。报错通常是 PostgreSQL 的 too many clients already 或 MySQL 的 Too many connections。先用活动会话视图看连接都是谁、什么状态:如果大量 idle in transaction(PG)或 Sleep(MySQL),基本是应用没正确释放连接或事务没提交。临时救急可以杀掉空闲时间最长的会话腾出名额,但不要第一反应就调大 max_connections——连接数翻倍意味着内存和调度开销翻倍,掩盖泄漏只会让下次爆得更惨。正解是修应用+上连接池(如 PgBouncer)。

磁盘爆满。数据库对磁盘满的反应都很剧烈:轻则拒绝写入,重则进程崩溃。排查用 du -sh 逐层找大头,数据库机器上常见的三大户是:日志类(binlog、WAL、慢日志)、备份文件、数据文件本身。预防靠策略:binlog 设过期天数(见 《数据库备份与恢复全攻略》)、日志做轮转、磁盘使用率超过 80% 就告警,别等 100% 才知道。

WARNING

排障时最忌讳「没留现场就重启」。重启能解决一部分问题,但会把活动会话、锁等待、错误上下文全部清掉,根因永远查不出来,下次还会再犯。正确顺序是:先截图留存关键视图输出(活动会话、状态变量、错误日志尾部),再做处置,重启永远是最后选项。

指标速查表#

指标PostgreSQLMySQLRedis
当前连接pg_stat_activity 计数Threads_connectedconnected_clients
正在执行的 SQLpg_stat_activitySHOW FULL PROCESSLISTCLIENT LIST(看 cmd 列)
历史慢查询pg_stat_statements慢日志 + mysqldumpslowSLOWLOG GET
复制延迟pg_last_xact_replay_timestamp()Seconds_Behind_SourceINFO replication
内存/容量pg_database_size()information_schema.tables 算库大小INFO memory
锁等待pg_locks(granted = false)SHOW ENGINE INNODB STATUS无锁概念,看 blocked_clients

常见问题#

Q:要不要上 Prometheus + Grafana 做监控面板? 数据量和机器数少时,各家自带命令完全够用,先把命令练熟。机器上了规模(比如 5 台以上数据库)再上 Prometheus 导出器(postgres_exporter、mysqld_exporter、redis_exporter)+Grafana 面板做统一看板和告警,顺序不要反:不懂指标含义,面板再漂亮也只是装饰。

Q:慢日志文件本身变得很大怎么办? 说明慢查询量不小,先解决问题再谈文件。文件处理上,MySQL 可以 SET GLOBAL slow_query_log = OFF 后轮转再打开,或用系统 logrotate 管理;根本上要把慢 SQL 逐条优化掉,慢日志应该越记越薄才对。

Q:业务说慢,但数据库各项指标都正常? 那就往外查:网络延迟、应用服务器资源、连接池等待、DNS 解析。数据库的 duration 统计的是库内执行时间,应用感知的耗时还包括排队和网络。用同一条 SQL 在数据库本机直连测一次、从应用机测一次,对比就知道时间花在哪一段了。

Q:Redis 的 used_memory 超过 maxmemory 会怎样? 取决于淘汰策略 maxmemory-policy:默认 noeviction 是拒绝写入并报错;缓存场景一般设 allkeys-lru 或 volatile-lru 自动淘汰冷数据。报错 OOM command not allowed 就是撞上了 noeviction 的上限,先查是不是忘了改策略。

Q:监控多久巡检一次合适? 关键指标(连接数、延迟、磁盘、复制状态)建议自动化每分钟采集+阈值告警;人工巡检每周扫一遍慢查询 Top 10 和容量趋势就够了。容量趋势最容易被忽视:磁盘和数据量是线性增长的,看趋势能提前几周预知爆盘日期。

小结#

监控排障的功夫在平时:熟悉三家的活动视图和慢查询入口,知道每个核心指标的正常范围,出事时按「连接、延迟、资源、日志」四步走,留好现场再处置。至此数据库系列 18 篇全部完成:从选型、Docker 快速搭建,到 PostgreSQL、MySQL、Redis 三家的安装、权限、命令、优化与持久化,再到备份、复制、监控的通用运维体系。把这套东西在自己的服务器上跑一遍,你的数据库基本功就成型了。

数据库性能监控与常见故障排障
https://www.anexns.cloudns.org/posts/database-monitoring-troubleshooting/
作者
Anexns
发布于
2026-11-15
许可协议
CC BY-NC-SA 4.0