4992 字
25 分钟
Nginx 负载均衡与健康检查:upstream 的调度算法与故障摘除

凌晨三点,后端三台机器里有一台磁盘满了,应用进程还活着,但每个请求都卡住不返回。监控没报警,因为端口还通;用户先发现了,因为页面一半能打开、一半转圈。最后是 Nginx 把那台机器摘掉,流量自动分到另外两台,值班的人才睡了个囫囵觉。这个场景里真正起作用的不是某一台机器,而是一组配合:谁来分流、分给谁、分错了怎么办、一台机器坏了多久才会被摘掉。这篇就把这组配合拆开:调度算法、被动健康检查、备份与下线、失败重试、上游长连接,最后说清楚开源版做不到的那件事。

负载均衡先回答一个问题:流量到底按什么分#

Nginx 里做负载均衡的起点是一个 upstream 块:把一组后端服务器起个名字,proxy_pass 指过去,流量就不再只去一台机器。

upstream backend {
server 10.0.0.11:8080;
server 10.0.0.12:8080;
server 10.0.0.13:8080;
}
server {
listen 80;
server_name app.example.com;
location / {
proxy_pass http://backend;
}
}

写完这个块,第一个问题就来了:三个后端,请求到底给谁?默认答案是加权轮询:每台服务器的权重默认都是 1,请求按权重比例轮流分,七个请求里权重 5 的那台拿五个,权重 1 的各拿一个。不写任何调度指令,Nginx 就是这么分的。很多线上配置跑了几年没动过调度算法,不是因为没人懂,而是因为默认的轮询在绝大多数场景下已经够用——三台同规格的机器、请求耗时差不多、无状态服务,轮询分出来的负载天然就是均匀的。先别急着换算法,先确认默认算法是不是真的不够用了。

轮询有一个隐含前提:每台后端处理请求的速度差不多。如果一台是新机器、一台是旧机器,轮询会把同样的请求量压到旧机器头上,旧机器先被压垮。处理办法不是换算法,而是给权重。

upstream backend {
server 10.0.0.11:8080 weight=5;
server 10.0.0.12:8080 weight=3;
server 10.0.0.13:8080 weight=1;
}

权重是个比例,不是绝对数字。上面这组配置里,九个请求中第一台拿五个、第二台拿三个、第三台拿一个。机器扩容时先给新机器一个小权重、观察一阵再往上加,缩容时反过来先降权重、再下线,是最稳妥的灰度办法。

四种调度算法:一张表先看全貌#

Nginx 开源版自带的调度算法就四种(加上默认轮询算五种写法),先一张表看完,再逐个展开。

算法指令分流依据适合的场景要注意的点
加权轮询不写指令,默认生效权重比例轮流同规格无状态后端后端速度差异大时要配 weight
最少连接least_conn当前活动连接数最少请求耗时差异大、长连接多只看连接数,不看 CPU 和响应时间
IP 哈希ip_hash客户端 IP 的哈希需要会话保持、无共享会话存储节点增减会打乱映射,NAT 后容易失衡
通用哈希hash $变量 [consistent]指定变量的哈希按用户、按缓存键分流节点增减会打乱映射,consistent 可缓解
随机random [two [least_conn]]随机挑一台后端规模大、想避开轮询的整齐步调结果不可预测,排障时要看日志确认

这张表里最容易被误解的是 least_conn。它看的是活动连接数,不是负载。两台后端各有 100 个连接,但一台的连接全是刚握手还没发请求的空闲长连接、另一台的连接全在跑慢查询,least_conn 照样可能把新请求派给正在跑慢查询的那台。它解决的是「请求耗时差异大」的问题:一个请求 10 毫秒、一个请求 10 秒,轮询会把慢请求均匀地摊到每台机器上,每台机器手里都攒着几个慢请求;least_conn 会把新请求派给手头连接最少的那台,慢请求集中的机器自然少接新活。长连接多的场景也一样:WebSocket 连上来就不走,轮询只管数量均分,least_conn 管的是谁手里还空着。

upstream backend {
least_conn;
server 10.0.0.11:8080;
server 10.0.0.12:8080;
server 10.0.0.13:8080;
}

least_conn 的计数是按 worker 进程分别算的,这一点和 keepalive 一样,见本系列第 2 篇Nginx 反向代理深挖:proxy_pass 的斜杠、头传递与缓冲取舍里上游长连接那节。多 worker 下每个 worker 各自维护自己的连接数视图,分流结果是「大致均衡」而不是「精确均衡」,这对绝大多数场景都够了。

ip_hash:会话保持的便宜办法,和它的三处代价#

有些应用把登录状态存在本机内存里,没有共享的会话存储,同一个用户的请求必须一直落到同一台后端。最便宜的办法是 ip_hash:拿客户端 IPv4 地址的前三个字节(IPv6 则用整个地址)算哈希,同一个客户端永远去同一台后端。

upstream backend {
ip_hash;
server 10.0.0.11:8080;
server 10.0.0.12:8080;
server 10.0.0.13:8080;
}

便宜是有代价的,第一处代价是节点增减会打乱映射。ip_hash 算出来的是一个固定位置,扩容加一台机器、缩容减一台机器,大量客户端会被重新映射到别的后端,存在本机的会话当场失效。临时摘掉一台机器做维护时,正确做法是把它标成 down,而不是从配置里删掉——标 down 会保留现有的哈希映射关系,删配置则不会。

第二处代价是分布不均。公司、学校、商场里几百人共用一个出口 IP,ip_hash 会把这几百人全派到同一台后端,流量分布完全取决于客户端 IP 的分布,而不是后端的承载能力。如果用户集中在少数几个出口 IP 后面,ip_hash 分出来的负载可能比轮询难看得多。移动网络下客户端 IP 还会变化,IP 一变会话就跳到别的机器上。

第三处代价是和 backup 冲突。官方文档写明:backup 参数不能和 hash、ip_hash、random 三种分流方法一起用。需要会话保持又想要备份节点,这两件事在开源版的 upstream 语法里是互斥的,得换个思路:要么接受主节点全挂时会话重建,要么把会话存到共享存储(例如 Redis)里,再用轮询加 backup。

WARNING

ip_hash 只是「同一个 IP 尽量去同一台」,不是「同一个用户一定去同一台」。客户端 IP 变化、后端节点变化、目标后端不可用,都会让请求换一台机器。把它当作会话保持的唯一手段之前,先确认应用能不能接受会话偶尔丢失——不能接受就不要省共享会话存储这一步。

hash 指令是更通用的版本:可以对任意变量做哈希,比如按用户 ID、按缓存键分流。hash $request_uri consistent 这种写法会启用 ketama 一致性哈希,节点增减时只有少数键会被重新映射,适合拿 Nginx 当缓存层前面那层分流。普通 hash 不加 consistent 时,节点一增一减,大部分键都会被打乱,和 ip_hash 是同一个毛病。

upstream cache_layer {
hash $request_uri consistent;
server 10.0.0.21:8080;
server 10.0.0.22:8080;
}

被动健康检查:max_fails 与 fail_timeout 的双重含义#

调度算法只管「分给谁」,不管「这台还活不活」。故障摘除靠的是被动健康检查:Nginx 在转发真实请求的过程中数失败次数,失败够了就把这台机器暂时摘掉。两个参数管这件事:max_fails 和 fail_timeout。

upstream backend {
server 10.0.0.11:8080 max_fails=3 fail_timeout=30s;
server 10.0.0.12:8080 max_fails=3 fail_timeout=30s;
server 10.0.0.13:8080 max_fails=3 fail_timeout=30s;
}

fail_timeout 有双重含义,很多人只读了其中一重:它既是统计窗口,也是摘除时长。在 fail_timeout 设定的 30 秒里累计失败达到 max_fails 次,这台服务器被认为不可用;随后在接下来的 30 秒里,Nginx 不会再把请求派给它。30 秒一到,Nginx 会放一个请求过去探一探,成功了就恢复,失败了就再摘 30 秒。默认值是 max_fails=1、fail_timeout=10s——默认配置下一次失败就摘掉 10 秒,这个默认值比大多数人想象的要敏感,调参之前先想清楚你想要的摘除速度。

什么算「一次失败」,由 proxy_next_upstream 这类指令说了算,不是 max_fails 自己说了算。连接不上、连接超时、读响应超时都算;HTTP 500 默认不算,除非显式加上去。把 max_fails 设成 3、又不改 proxy_next_upstream,后端返回 500 时请求不会换一台、失败也不会被计数,摘除逻辑等于没接上 500 这条线。这两个指令要对照着看,单看一个会得出错误的结论。

upstream backend {
server 10.0.0.11:8080 max_fails=2 fail_timeout=15s;
server 10.0.0.12:8080 max_fails=2 fail_timeout=15s;
}
server {
location / {
proxy_pass http://backend;
proxy_next_upstream error timeout http_500 http_502 http_503;
proxy_next_upstream_timeout 5s;
proxy_next_upstream_tries 2;
}
}

上面这组配置的含义是:15 秒里失败两次就摘 15 秒;失败时换一台重试,最多重试两次、总共不超过 5 秒。proxy_next_upstream_tries 和 proxy_next_upstream_timeout 是两道保险,缺了它们,一次慢接口可能在多台后端之间来回重试,把一次故障放大成几次超时。

还有两个容易踩的点。第一,max_fails=0 是关闭失败计数,不是「零容忍」——写 0 等于告诉 Nginx 永远不要摘这台机器。第二,upstream 里只有一台服务器时,max_fails、fail_timeout 这些参数会被直接忽略,这台机器永远不会被认为不可用。单节点配一堆健康检查参数等于没配,故障摘除的前提是最少有两台后端。

backup 与 down:给故障留一条退路#

backup 是最常见的退路写法:平时不接流量,主节点全挂时才顶上。典型用法是备机房、备用服务,或者一台配置低的老机器。

upstream backend {
server 10.0.0.11:8080 max_fails=3 fail_timeout=30s;
server 10.0.0.12:8080 max_fails=3 fail_timeout=30s;
server 10.0.0.13:8080 backup;
}

备份节点平时零流量,切换过去的那一刻它要独自扛下全部请求,冷启动的缓存、没预热的连接池、没跑过满载的配置,全会在切换瞬间暴露出来。备份节点要定期演练:人为把主节点标 down,确认备份节点真能接住流量,再恢复。没演练过的备份节点只是配置文件里的一行字。

down 标的是「永久不可用」,用来做计划内的下线:机器要维护、要升级、要退役,先标 down 再重载配置,流量立刻不再派过去,等它上面的长连接自然结束再动手。配合 ip_hash 使用时,down 的意义更大:删配置会打乱哈希映射,标 down 不会。

upstream backend {
server 10.0.0.11:8080;
server 10.0.0.12:8080 down;
server 10.0.0.13:8080;
}

max_conns 是另一个常被忽略的保护参数:限制同时打到一台后端的最大活动连接数,默认 0 表示不限制。后端是单线程的老服务、或者连接一多就内存暴涨的服务,给它设一个 max_conns,超出的请求会排队等别的后端,而不是把后端直接压垮。这个限制在没配共享内存 zone 的情况下是按 worker 进程算的,多 worker 时实际放过的连接数会比设定值大。

proxy_next_upstream:失败了换一台,但要知道代价#

proxy_next_upstream 的默认值是 error timeout:连接失败、连接超时、读超时,换一台重试。HTTP 状态码类的条件默认都不在里面,想让 502、503 也触发重试,得显式加上。

重试的代价藏在「已经发出去了没有」这个问题里。Nginx 只有在还没向客户端发送任何响应内容时,才能把请求转给下一台后端;响应已经开始传了,再失败就只能把错误交给客户端,没法换一台重来。对 GET 这类读请求,重试一次没什么副作用;对 POST、下单、扣款这类非幂等请求,把 http_500 之类的条件加进重试列表之前,先确认后端能不能接受同一笔请求被执行两次。一个写一半就超时的请求,重试一次可能在另一台后端上又写一遍。重试条件加得越宽,重复执行的风险就越大。

还有一个细节:proxy_next_upstream 里写 http_500 这类条件时,max_fails 的计数也会把这类失败算进去——失败的定义是统一的。反过来,proxy_next_upstream off 会关掉全部重试,第一次失败就直接把错误返回给客户端。内部工具、一次性回调这类不希望重试的接口,可以在单独的 location 里关掉重试,而不是全局关掉。

WARNING

重试不是免费的保险。每次重试都是一次新的后端请求,慢接口在三台后端之间各重试一次,总耗时是单次超时的三倍。proxy_next_upstream_tries 和 proxy_next_upstream_timeout 一定要配上,否则一次上游抖动可能拖垮整个请求的超时预算。

keepalive 连接池:上游长连接的账#

反代的每一跳如果都重新握手,高并发下光是建连的开销就很可观。upstream 块里的 keepalive 指令维护一个空闲连接池:请求用完的连接不关闭,留着给下一个请求复用。配法在第 2 篇里写过,这里补两点负载均衡视角的细节:连接池是按 worker 进程维护的,每个 worker 各自攒自己的池子,keepalive 32 的意思是每个 worker 最多留 32 条空闲连接,不是全站 32 条;另外要让复用真正生效,proxy_http_version 1.1 和清空 Connection 头这两行不能少,否则后端以为每次都是短连接,池子建了也用不上。

upstream backend {
server 10.0.0.11:8080;
server 10.0.0.12:8080;
keepalive 32;
}
server {
location / {
proxy_pass http://backend;
proxy_http_version 1.1;
proxy_set_header Connection "";
}
}

需要说明版本差异:1.29.7 起 keepalive 默认就是开启的、默认缓存 32 条连接,旧版本需要显式写 keepalive 32 才会生效。手里 Nginx 版本比较老的时候,别以为默认就开了。连接池也不是越大越好:后端能接受的并发连接数有上限,池子攒太多空闲连接,后端会先看到一堆占着连接不干活的 Nginx worker,反而挤占了真正干活的连接额度。

主动健康检查:开源版没有,别再找了#

被动健康检查有个先天缺陷:它要等真实用户的请求失败了,才知道后端坏了。第一个踩到故障的用户,注定要吃一次失败。主动健康检查是另一条路:Nginx 自己定时去探后端,坏了提前摘、好了自动加回去,用户永远碰不到坏节点。这个功能叫 health_check,写在 location 里,配合 zone 共享内存使用。

upstream backend {
zone backend 64k;
server 10.0.0.11:8080;
server 10.0.0.12:8080;
}
server {
location / {
proxy_pass http://backend;
health_check;
}
}

上面这段配置在开源版 Nginx 里是跑不起来的。health_check、slow_start、动态 upstream 配置这些能力,只在商业版 Nginx Plus 里提供,开源版没有,搜到的教程里出现这些指令,先看一眼它用的是哪个版本。slow_start 也是一样:节点恢复后权重从零慢慢涨回去,避免刚恢复的节点瞬间被流量打满,这个功能同样只在 Plus 里有。开源版里节点一恢复就立刻按满权重接流量,恢复后第一次慢查询高峰往往就发生在这里。

开源版的替代办法是把「探测」这件事交给外部:用专门的监控工具定时探活,探到故障就改配置、重载 Nginx,或者在更外层做摘除。站里之前写过Gatus 轻量监控实战,那套路子就是外部探测加告警,探到后端挂了先告警、再人工或脚本介入摘除。反应速度比不上内置的主动检查,但对自建服务来说,这是一条不用付费就能走通的路。被动检查继续留在配置里兜底:外部探测负责发现,max_fails 负责在真实请求层面最后一道摘除。

排障:负载均衡出问题,先按这个顺序查#

1. 所有请求都 502,但后端单台直连是好的

先看 error.log 里 upstream 报错的原文,再对照第 8 篇要讲的 502/504 定位表。最常见的是三种:后端监听地址写成了 127.0.0.1,Nginx 和后端不在同一台机器上所以连不上;后端进程挂了但端口还在 TIME_WAIT,Nginx 以为能连;防火墙只放行了 80,没放行后端端口。用 curl 从 Nginx 所在的机器直接请求后端地址,先确认网络层通不通,再查应用层。

2. 某台后端 CPU 总是满的,其他几台很闲

先确认调度算法是不是轮询、权重是不是一样,再看这台机器是不是接了不成比例的慢请求。least_conn 只看连接数不看耗时,慢请求集中的机器连接数不高、CPU 却很高是正常现象。打开 log_format 里的 $upstream_response_time,按后端分组统计平均耗时,慢的那个要先解决它自己的问题,而不是调权重把它藏起来。

3. 扩容加了一台机器,大量用户掉登录

这是 ip_hash 的典型症状:节点一变,哈希映射跟着变,存在本机内存的会话全部失效。先确认是不是用了 ip_hash,再确认会话是不是存在本机。如果会话必须存在本机,扩容时先标 down 再加节点,或者干脆把会话迁到共享存储,再换回轮询。

4. 后端明明挂了,Nginx 还往上派请求

先数三件事:max_fails 设了几、fail_timeout 设了多久、proxy_next_upstream 里有没有把这种失败算进去。后端返回 500 但 proxy_next_upstream 没加 http_500,失败不计数、不换台,摘除永远触发不了。反过来,max_fails=1 的默认配置会让一次网络抖动就摘掉节点 10 秒,故障没排除、节点先被反复摘。两个极端都要对照着调。

5. 单节点 upstream 配了健康检查参数,一点用没有

这是官方文档里明确写了的行为:upstream 里只有一台服务器时,max_fails、fail_timeout、slow_start 全部被忽略,这台服务器永远不会被认为不可用。单节点服务的高可用不能靠 upstream 参数实现,要么再加一台后端,要么在外层用监控加自动重启兜底。

小结#

负载均衡这套配置可以收成四句话:调度算法先看默认轮询够不够用,不够用再按场景换 least_conn 或 ip_hash;故障摘除靠 max_fails 加 fail_timeout,两个参数的默认值都比想象中敏感,调之前先想清楚要多快摘、多快恢复;backup 和 down 是留给故障和维护的退路,备份节点不演练等于没有;主动健康检查和 slow_start 只在 Nginx Plus 里有,开源版用被动检查加外部监控组合着兜底。下一篇讲缓存:proxy_cache 的代理缓存和浏览器缓存是两层账,proxy_cache_lock 防击穿、proxy_cache_valid 按状态码设时长,缓存清理在开源版里没有现成答案,得先想清楚再配。

Nginx 负载均衡与健康检查:upstream 的调度算法与故障摘除
https://www.anexns.cloudns.org/posts/webserver-nginx-load-balancing/
作者
Anexns
发布于
2026-11-18
许可协议
CC BY-NC-SA 4.0