深入解析 LVS 负载均衡：直接路由模式原理与实践

目录#

LVS 核心组件简介
为什么选择 DR 模式？
DR 模式工作原理深度解析
实战部署：一步步搭建 LVS-DR 环境
最佳实践与常见问题
- 5.1 最佳实践
- 5.2 常见问题
总结
参考资源

1 LVS 核心组件简介#

在深入 DR 模式之前，我们先了解 LVS 架构中的两个核心角色：

Director Server (DS) / 负载均衡器：这是 LVS 的核心，运行着 ipvsadm 管理工具和内核模块 ip_vs。它对外提供虚拟 IP（VIP），接收所有客户端请求，并根据预设的调度算法，将请求转发给后端的真实服务器。
Real Server (RS) / 真实服务器：实际提供应用服务的后端服务器集群（如 Web 服务器、API 服务器等）。它们通过环回接口绑定 VIP，并处理由 DS 转发过来的请求。

2 为什么选择 DR 模式？#

与 NAT 和 TUN 模式相比，DR 模式具有以下显著优势：

高性能：DS 只负责调度请求（入站流量），而 RS 的响应数据（出站流量）直接返回给客户端，不经过 DS。这避免了 DS 成为网络瓶颈，能处理极高的并发请求。
可扩展性强：由于 DS 的压力大大减轻，可以轻松地通过水平扩展 RS 来提升整个系统的服务能力。
无网络地址转换开销：不像 NAT 模式需要修改数据包的 IP 地址和端口，DR 模式仅在数据链路层修改 MAC 地址，开销极小。

局限性：

网络拓扑要求：DS 和所有 RS 必须位于同一个物理局域网（同一 VLAN）内，因为其依赖 MAC 地址广播和重写。
ARP 问题：需要精心配置 RS 的 ARP 行为，以防止多台机器同时响应针对 VIP 的 ARP 请求，导致混乱。

3 DR 模式工作原理深度解析#

理解 DR 模式的关键在于掌握数据包的流向，尤其是 MAC 地址的变化。

3.1 请求流程#

假设客户端 IP 为 CIP，目标 VIP 为 VIP。DS 的 DIP 接口 MAC 地址为 MAC_DS，RS1 的 RIP 接口 MAC 地址为 MAC_RS1。

客户端发送请求：客户端向 VIP:Port 发送请求包。数据包信息为：
- [CIP -> VIP]
DS 接收并改写：请求包通过路由器到达 DS 所在的网络。DS 接收到数据包后，IPVS 模块会根据调度算法（如轮询 rr）选择一台 RS（例如 RS1）。
MAC 地址重写：DS 保持数据包的源/目标 IP 不变（CIP->VIP），但将目标 MAC 地址重写为选中的 RS1 的 MAC 地址（MAC_RS1），源 MAC 地址改为自己的 MAC_DS。
- 改写后的数据包为：[CIP -> VIP]，但帧头是 [MAC_DS -> MAC_RS1]。
RS 接收并处理：交换机根据目标 MAC 地址 MAC_RS1 将数据包转发给 RS1。RS1 的网络接口收到数据包，向上传递到 IP 层。由于 RS1 的 lo 接口上也配置了 VIP，内核会认为这个目标是本机的，于是交由上层应用程序（如 Nginx）处理。

3.2 响应流程#

RS 构建响应：RS1 上的应用程序处理请求，生成响应数据包。数据包信息为：
- [VIP -> CIP]
直接返回客户端：RS1 直接将响应包发送出去。由于源 IP 是 VIP，目标 IP 是远端的 CIP，RS1 会通过默认网关（而不是 DS）将数据包路由给客户端。整个响应过程完全不经过 DS。

3.3 关键点：MAC 地址重写与 ARP 抑制#

MAC 重写：这是 DR 模式的核心魔法。它让 RS 在 IP 层认为请求是发给自己的，而在链路层则是由 DS 精准投递。
ARP 抑制：这是部署中最容易出错的地方。在同一个广播域内，如果多台机器（DS 和所有 RS）都配置了 VIP，当客户端或路由器广播 ARP 请求“谁是 VIP？”时，它们都会应答，导致 ARP 表混乱。解决方案是让 RS 不响应关于 VIP 的 ARP 请求。

4 实战部署：一步步搭建 LVS-DR 环境#

4.1 环境准备#

假设我们有一个简单的 Web 服务集群。

角色	主机名	网络接口	IP 地址	说明
Director Server	lvs-dr	`ens33`	`192.168.1.100`	负载均衡器
Real Server 1	web-01	`ens33`	`192.168.1.101`	Web 服务器 1
Real Server 2	web-02	`ens33`	`192.168.1.102`	Web 服务器 2
VIP	-	-	`192.168.1.200`	虚拟 IP，对外提供服务

确保：所有机器网络互通，且防火墙/SELinux 已适当配置（或临时关闭用于测试）。

4.2 配置 Real Server#

需要在每台 RS 上执行以下操作，通常通过编写一个脚本（如 /etc/init.d/lvs-rs）来实现。

1. 配置 VIP 到 lo 接口并抑制 ARP

#!/bin/bash
# 定义一个变量
VIP=192.168.1.200
 
case "$1" in
start)
    # 添加 VIP 到 lo 接口，掩码 255.255.255.255
    ip addr add $VIP/32 dev lo
    # 1. 抑制 ARP 响应
    echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
    # 2. 抑制所有接口的 ARP 行为（更稳妥的做法）
    echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
    # 添加路由，确保从 lo 接口出去的包源地址是 VIP
    route add -host $VIP dev lo
    ;;
stop)
    # 停止时清理配置
    ip addr del $VIP/32 dev lo >/dev/null 2>&1
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/lo/arp_announce
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_ignore
    echo 0 > /proc/sys/net/ipv4/conf/all/arp_announce
    route del -host $VIP dev lo >/dev/null 2>&1
    ;;
*)
    echo "Usage: $0 {start|stop}"
    exit 1
    ;;
esac

参数解释：

arp_ignore=1：只响应目标IP地址为接收网卡上的本地地址的ARP请求。
arp_announce=2：始终使用最合适的本地地址（即物理网卡的IP）来发送ARP响应，避免使用VIP。

2. 启动配置并验证

chmod +x /etc/init.d/lvs-rs
/etc/init.d/lvs-rs start
ip addr show lo # 应该能看到 VIP 绑定在 lo 上

3. 在每台 RS 上启动 Web 服务（例如 Nginx），并确保其监听在所有地址（0.0.0.0:80）或直接监听 VIP:80。

4.3 配置 Director Server#

在 DS 上操作。

1. 安装 ipvsadm 管理工具

# CentOS/RHEL
yum install ipvsadm -y
# Ubuntu/Debian
apt-get install ipvsadm -y

2. 配置 VIP 到物理网卡

ip addr add $VIP/32 dev ens33

3. 使用 ipvsadm 创建虚拟服务并添加 Real Server

# 清空现有规则
ipvsadm -C
 
# 添加一个虚拟服务 (VIP:80)，使用轮询调度算法 (-s rr)
# -g 表示 DR 模式 (masquerading)
ipvsadm -A -t $VIP:80 -s rr
 
# 添加 Real Server 到该虚拟服务
# -g 同样表示 DR 模式
ipvsadm -a -t $VIP:80 -r 192.168.1.101:80 -g
ipvsadm -a -t $VIP:80 -r 192.168.1.102:80 -g
 
# 保存规则（CentOS 7+）
ipvsadm-save > /etc/sysconfig/ipvsadm
systemctl enable ipvsadm && systemctl start ipvsadm

4.4 验证与测试#

查看 IPVS 规则表：

ipvsadm -Ln

输出应类似：

IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port Scheduler Flags
  -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
TCP  192.168.1.200:80 rr
  -> 192.168.1.101:80             Route   1      0          0
  -> 192.168.1.102:80             Route   1      0          0

客户端测试：从网络中的另一台机器（客户端）不断访问 http://192.168.1.200。你应该能看到请求被轮流分发到 web-01 和 web-02。可以在 RS 的 Web 服务访问日志中确认这一点。
使用 tcpdump 抓包分析：在 DS 或 RS 上使用 tcpdump -i ens33 host vip 观察数据包流动，可以清晰地看到 MAC 地址的变化。

5 最佳实践与常见问题#

5.1 最佳实践#

高可用：单点 DS 是故障点。务必使用 Keepalived 或 Heartbeat 为 DS 做高可用，实现主备自动切换。
健康检查：LVS 本身只有简单的第 4 层（传输层）健康检查。使用 Keepalived 可以集成更强大的第 5/7 层（应用层）健康检查脚本。
权重调整：如果 RS 性能不均，可以使用 -w 参数在 ipvsadm 中设置不同的权重（-w 2）。
连接同步：在有多台 DS 的高可用场景下，考虑使用 ldirectord 或 Keepalived 的同步机制来同步连接状态。
监控：监控 DS 的 ip_vs 连接数、带宽以及各 RS 的系统资源（CPU、内存、网络）。

5.2 常见问题#

访问 VIP 不通
- 检查 ARP 抑制：这是最常见的原因。确保所有 RS 上正确配置了 arp_ignore 和 arp_announce。
- 检查路由：确保客户端到 VIP 的网络路由是通的。确保 RS 的默认网关设置正确，以便响应能直接返回客户端。
- 检查防火墙：临时关闭 DS 和 RS 的防火墙进行测试。
只能访问到一台 RS
- 检查调度算法：确认 ipvsadm 规则中的调度算法不是 sh（源地址哈希）等持久化算法。
- 检查客户端：如果是浏览器测试，可能是缓存或 HTTP 持久连接（Keep-Alive）导致的，尝试用不同的客户端或工具（如 curl）测试。
RS 收到请求但无法响应
- 检查 RS 的默认网关：RS 必须有一个正确的网关，用于将响应包发送回客户端所在的网络。

6 总结#

LVS DR 模式通过精巧的数据链路层包转发机制，实现了高性能的负载均衡。其核心在于 MAC 地址重写 和 RS 端的 ARP 抑制。虽然初始配置比 NAT 模式稍显复杂，但其带来的巨大性能收益使其成为构建大型网络服务集群的首选方案。

结合 Keepalived 实现高可用和更健壮的健康检查，可以构建出一个坚实、高效、可靠的负载均衡基础架构。

7 参考资源#

官方文档：
- The Linux Virtual Server Project
内核参数文档：
- man 7 arp
- Linux 内核文档 /usr/src/linux/Documentation/networking/ip-sysctl.txt
管理工具：
- man ipvsadm
高可用方案：
- Keepalived Official Site
- man keepalived.conf