ARP Flux 问题和解决方法

我们写程序不需要写 ARP request 和 response 相关的逻辑，因为这部分是操作系统帮我们做的。

Linux 处理 ARP 请求的逻辑是：

如果操作系统收到了一个 ARP reuqest，并且本机中某一个接口配置了 ARP request 中请求的 IP，那就回复这个 ARP request，回复的 ARP response 中，使用收到此 ARP request 的 interface 的 MAC 地址作为答案。

这个逻辑看起来没有问题：从 Linux 的视角，既然我能从一个 interface 收到 ARP 请求，那么对方向这个 interface 发送数据包，我也可以从这个 interface 收到，所以，回复 interface 的 MAC 地址即可。

但是，在下面这种情况就会出问题：

1. Linux 有两个 interface 接入到了同一个交换机上；
2. 这两个 interface 配置的 IP 地址在同一个广播域；

满足这两个条件的话，当有 LAN 中有主机发送 ARP request 广播包，交换机会转发到自己的所有端口，Linux 会从这两个端口都收到此 ARP request 广播包。按照以上处理逻辑，Linux 会回复 2 个 ARP reply，因为收到了两个 request，两个 interface 各回复一次，并且这两个 ARP reply 分别是两个 interface 的 MAC 地址。

实验环境如下图所示：

配置好 IP 之后，我们在 ubuntu-2 主机发送 ARP request。

一共发送了 3 个 request，却收到了 6 个 ARP reply。并且有两种 MAC 地址。

这个就是 ARP Flux 问题。

解决方法0: 配置不同的 IP subnet

因为 ARP 是在 LAN 内的，如果两个 interface 分别配置在不同的 subnet，就不会有这个问题了。

但是有时候我们的软件守交换机网段的限制，只能配置在一个网段。并且有些场景需要两个线路和两个 IP，比如管理和数据面分开（带外管理），就又会遇到这个问题。

解决方法1: 隐藏其中一个接口

使用 ip link set dev eth0 arp off 可以禁用 interface 的 ARP 恢复，这样，在 LAN 上就相当于把这个 interface 隐藏了，因为没有人可以发现它的 MAC 地址了。在四层负载均衡中，如果使用 DSR 的模式并且不加隧道的话，就需要对 RS 的 VIP 禁用 ARP 回复¹。

这里有一个有意思的现象：假设 192.168.1.2 配置在 eth0 上，但是我们把 eth0 的 ARP 禁用了。

这时候如果请求 192.168.1.2 的地址，会拿到 eth1 的 MAC 地址。参考上文讨论过的 Linux ARP 工作原理。

这个方法只能通过 interface 级别来设置，如果一个 interface 上有多个 IP 地址，那么只能全部禁用或者开启。

如果要 by IP 来禁用 ARP，可以使用 arptables(8)^{2 3}.

解决方法 2: arp_ignore

直接禁用 ARP 差不多等于把这个 interface 关闭了，大部分情况下不是我们想要的结果。

我们希望的效果是对于 ARP request 只回复一次，并且只有 IP 在自己的 interface 上才回复，不要代替其他 interface 回复。

通过 arp_ignore⁴ 可以改变 Linux 的 ARP 行为：

• 0 – 默认，只要本地有的 IP 就会回复，无论是哪一个 interface；
• 1 – 只有当 ARP request 询问的 IP 配置在收到 ARP 的接口上时，才会回复；
• 2 – 同 1，并且 sender 的 IP 在本地 IP 的相同 subnet 内，才会回复；
• 3 – scope host 不会回复，只有 scope link 和 scope global 才会回复 （可以通过 ip address 命令查看配置的 IP scope）；
• 4–7 – 保留字段；
• 8 – 所有 local address 都不回复；

配置方法：通过 sysctl -w 可以修改配置。arp_ignore 是 per interface 的配置。

其中 all 是一个全局变量，最终在 interface 上生效的值是 max(all, eth0)。以最大的为准。

default 是模板变量，在新建一个 interface 的时候，会自动使用这个值。

我们可以给所有的 interface 都设置为 1.

然后再发送 arp 请求，就会发现回复之后一个了，并且是正确的那个。

解决方法3: arp_filter

另一个方法是使用 arp_filter 参数，这个参数是一个 bool，默认是 0 ，如果开启为 1，就意味着，如果收到 ARP request，ARP 请求的 IP 为 A，收到 ARP 的 interface 为 X 和 Y，那么 kernel 就测试路由，假设要发出去 source IP 为 A 的包，从 X 发出去还是从 Y 发出去。如果从 X 发出去，那么只有 X 会回复。（source based rotuing).

举例来说，我们现在有两个接口和两个 IP，回复 192.168.1.10 的 ARP 时，可以测试当前的路由情况：

可以看到无论 source IP 是哪一个，都会从 eth0 口出。

这是因为我们的 ip route 配置：

会永远走第一条路由。

所以我们如果发送 ARP request，对 .2 和 .3 两个地址，得到的结果会是一样的，因为都是 eth0 在回复。

如果我们把第一条路由删了，那么现在就都走 eth1 了，这时候 ARP 结果就都是 eth1 了。

Lookback 接口是否会回复 ARP？

答案是是的（虽然听起来很没道理）。这个主要是跟路由有关。

当我们在给 lo 绑定一个地址的时候，kernel 会默认添加 2 条路由，lo 所在网段和 lo 的地址会被标记成 dev lo 的本地路由。

其实，当我们给 lo 地址添加 192.168.1.2/24 的时候，由于自动添加的 192.168.1.0/24 的 route （第5行），导致我们其他的接口也不会回复这个网段的 ARP 请求了。这个时候从 ubuntu-2 上 arping 192.168.1.10 和 192.168.1.11 都会 timeout。

这个是默认的行为。但是如果我们改一下，删除这两条路由，添加另一条从 eth0 口出的路由的话，就会发现，arping lo 接口的 IP，也会收到 ARP response 了。

在 ubuntu-2 可以 ping 通。

所以说 lo 接口是否回复 ARP request，主要和 ip route 的设置有关。

1. 四层负载均衡漫谈 ↩︎
2. arptables(8) – Linux man page ↩︎
3. Using arptables to disable ARP ↩︎
4. Kernel 的 ip sysctl 文档 ↩︎

---