2017 年发生了两件大事：
Linux 终于获得了能用的原生的 MPLS（L3VPN）和 VRF 支持。不过三年以后，MPLS 配置的完整文档尚付阙如。近日我经过研究和阅读各种零散的资料，成功在测试环境中配置了一个标准的 MPLS 核心网络架构，因此写一篇文章来分享配置过程以及路上遇到的各种坑。
MPLS？
只玩 IP 路由，不怎么接触大型运营商网络的同学们可能会对 MPLS 这个技术有些陌生。如果要打一个简单的比方，MPLS（L3VPN）就像是三层意义上的 VLAN Trunking：路由器上把三层接口加入 VRF（对应交换机上的 VLAN），每个路由器上可以有多个虚拟的路由表（对应交换机上的 ARP 表），核心路由器之间传送的数据报文前面会被加上 MPLS 标签（对应交换机上的 VLAN 标签）保证多个路由表内的数据互不干扰。MPLS 的好处有很多：
- 用同一组路由器为不同的客户提供不同种类的服务
- 允许不同的客户网使用相同的 IP 地址段
- 核心节点不需要查找路由表，只需要做简单的 MPLS 标签替换工作，增加了包转发性能
- 核心节点不需要保存客户的全量路由表，只需要负责转发，节约内存
- 可以实现在客户无感知的情况下把多地的同一客户设备连接起来，不同客户互相隔离
- 简化复杂的三层配置
- 可以设置特定流量走特定路径，方便负载均衡和冗余
这么好的协议，当然会有一些前提要求。MPLS 是一个 2.5 层协议，也就是说它需要运行在二层之上。所以如果要启用 MPLS，首先整个核心网路由器之间需要用支持二层的方式（例如 Ethernet）连接，或者使用对 MPLS 做了特殊支持的非二层隧道（RFC2547bis，例如 GRE 或 L2TP）。MPLS 的数据报文有 8 字节的头部，因此你可能需要适当增大核心网的 MTU。
MPLS 核心网的路由器一般分为两类：P（Provider），即不连接任何客户设备的路由器，以及 PE（Provider Edge），即连接客户设备的路由器。直接连接到 PE 的客户设备称为 CE（Customer Edge）。其它理论知识在此就不细讲了，简单来说，MPLS 的配置需要以下几步：
- 给每台 P 和 PE 设置 loopback 端口的固定 IP
- 通过 IGP 让所有 P 和 PE 之间 loopback IP 都可以互相 ping 通
- 在每台 P 和 PE 上启动 MPLS 处理功能和 LDP 服务
- 在 PE 上配置 iBGP，启动 MP-BGP 功能
- 在 PE 上配置 VRF，并且将连接客户的端口加入相应的 VRF
- 把客户的路由重分发到核心网的 VRF 路由表
接下来，我用一个简化版的实验室环境来演示一下 Linux 上 MPLS 的实际配置过程。
MPLS！
要解决的问题
假设我们是一个跨城市的小 ISP，提供一种把客户在两个城市之间的站点连接起来的业务。业务的实现方式很简单，客户在两个城市分别拉一根网线到我们在同一城市的路由器，配置好 IP，然后客户在两个城市的站点就魔法般互相接通了。有一天突然来了两个客户——暂且称之为 customer1 和 customer2 好了——都要购买我们的服务，巧的是，他们内网用的 IP 段是一模一样的。如果我们的核心网络使用传统 IP 技术互联的话，两个客户的内网可能就互通了，并且还会互相打架。但是如果我们的核心网络使用了 MPLS 技术，这个配置不费吹灰之力就可以完成。
说明：
- 所有连线均为以太网连接
- 核心网之间设备互联使用 192.168.1.0/24 段（点对点配置）
- 核心网每个设备有一个 10.0.0.x/32 的 IP 用于 loopback
- 图片上的 e0/e1/e2 分别对应下面配置里的 ens3/ens4/ens5
暂时不解决的问题
为了限制篇幅，以下问题本文不深入讨论：
- MTU 不匹配问题（建议 PE 上 MSS 全部 clamp 到 1410）
- CE 和 PE 之间的动态路由协议
- Linux 网络栈的开机自动配置（动态创建的 interface，sysctl 配置之类的重启以后都会丢，如何使用网络管理软件在开机的时候把它们都正确配置起来就留给读者作为练习了。）
- VPLS（Linux 目前还不支持 pseudowire 接口）
LittleWolf 的《[ Linux ] 使用 Debian Linux 构架 MPLS L3 网络》一文中演示了核心网络使用 IS-IS 以及 CE 和 PE 之间使用 BGP 实现动态路由的配置，推荐和本文一起阅读。
参考软件
图中所有设备使用以下软件：
- Debian 10（Linux 4.19.0）
- iproute2 4.20.0
- FRRouting 7.2.1（FRRouting 提供的 deb 包）
MPLS 配置流程
以下每个代码块开头用#标识该代码块在什么环境下运行。其中：
# linux shell 表示在 Linux 原生 shell（bash 等）下运行# vtysh 表示在 vtysh 下运行# vtysh config 表示在 vtysh 的配置模式（conf t）下运行
设置操作系统
安装 FRRouting：
|
|
# linux shell curl -s https://deb.frrouting.org/frr/keys.asc | sudo apt-key add - echo deb https://deb.frrouting.org/frr buster frr-stable | sudo tee -a /etc/apt/sources.list.d/frr.list apt update apt install frr |
启动 FRRouting：
|
|
# linux shell sed -i "s/=no/=yes/g" /etc/frr/daemons systemctl enable frr systemctl restart frr |
加载 MPLS 内核模块：
|
|
# linux shell modprobe mpls_router modprobe mpls_iptunnel modprobe mpls_gso modprobe dummy cat >/etc/modules-load.d/mpls.conf <<EOF mpls_router mpls_iptunnel mpls_gso dummy EOF |
内核 MPLS 基础配置：
|
|
# linux shell cat >/etc/sysctl.d/90-mpls-router.conf <<EOF net.ipv4.ip_forward=1 net.ipv6.conf.all.forwarding=1 net.ipv4.conf.all.rp_filter=0 net.mpls.platform_labels=1048575 net.ipv4.tcp_l3mdev_accept=1 net.ipv4.udp_l3mdev_accept=1 net.mpls.conf.lo.input=1 EOF sysctl -p /etc/sysctl.d/90-mpls-router.conf |
核心网 IP 网络配置以及设置 Loopback IP
Loopback IP 其实不是必需的，如果你想给每个端口分别配置各种协议的源 IP 其实也行。但是只要你的网络稍微有一点规模，配置一下 loopback IP 可以少打很多其它配置，而且能避免 router id 不稳定导致的动态路由协议玄学问题。
P
|
|
# linux shell ip link set ens3 up ip link set ens4 up ip link set ens5 up ip addr add 192.168.1.5 peer 192.168.1.6 dev ens3 ip addr add 192.168.1.2 peer 192.168.1.1 dev ens4 ip addr add 192.168.1.3 peer 192.168.1.4 dev ens5 ip link add dummy0 type dummy ip link set dummy0 up ip addr add 10.0.0.2/32 dev dummy0 |
PE1
|
|
# linux shell ip link set ens3 up ip link set ens4 up ip link set ens5 up ip addr add 192.168.1.1 peer 192.168.1.2 dev ens3 ip link add dummy0 type dummy ip link set dummy0 up ip addr add 10.0.0.1/32 dev dummy0 |
PE2
|
|
# linux shell ip link set ens3 up ip link set ens4 up ip link set ens5 up ip addr add 192.168.1.4 peer 192.168.1.3 dev ens3 ip link add dummy0 type dummy ip link set dummy0 up ip addr add 10.0.0.3/32 dev dummy0 |
RR
|
|
# linux shell ip link set ens3 up ip addr add 192.168.1.6 peer 192.168.1.5 dev ens3 ip link add dummy0 type dummy ip link set dummy0 up ip addr add 10.0.0.4/32 dev dummy0 |
检查
两两邻接的路由器互相 ping 对面的接口 IP 应该能够 ping 通。
在核心网络中启动 IGP
IGP 的目的是让 loopback IP 互相能通。因为我不会别的协议为了简单起见，这里以 OSPF 为例，全默认配置，所有路由都放到 Area 0 就可以了。因为上面端口配置部分我们给所有核心网路由器之间的以太网链路配置了点对点连接，OSPF 这边需要改一下每个接口的类型。
P
|
|
# vtysh config interface ens3 ip ospf network point-to-point interface ens4 ip ospf network point-to-point interface ens5 ip ospf network point-to-point router ospf ospf router-id 10.0.0.2 redistribute connected redistribute static network 10.0.0.0/24 area 0 network 192.168.1.0/24 area 0 |
PE1
|
|
# vtysh config interface ens3 ip ospf network point-to-point router ospf ospf router-id 10.0.0.1 redistribute connected redistribute static network 10.0.0.0/24 area 0 network 192.168.1.0/24 area 0 |
PE2
|
|
# vtysh config interface ens3 ip ospf network point-to-point router ospf ospf router-id 10.0.0.3 redistribute connected redistribute static network 10.0.0.0/24 area 0 network 192.168.1.0/24 area 0 |
RR
|
|
# vtysh config interface ens3 ip ospf network point-to-point router ospf ospf router-id 10.0.0.4 redistribute connected redistribute static network 10.0.0.0/24 area 0 network 192.168.1.0/24 area 0 |
检查
核心网里的每台路由器使用自己的 loopback IP 去 ping 任意其它路由器的 loopback IP 应该都能通。例如在 PE1 上 ping RR：
|
|
# linux shell ping -I 10.0.0.1 10.0.0.4 |
启动 MPLS 处理功能和 LDP 服务
每个有 MPLS 流量经过的接口都要启用 MPLS 功能，并且打开 LDP。
P
|
|
# linux shell sysctl net.mpls.conf.ens3.input=1 sysctl net.mpls.conf.ens4.input=1 sysctl net.mpls.conf.ens5.input=1 |
|
|
# vtysh config mpls ldp router-id 10.0.0.2 address-family ipv4 discovery transport-address 10.0.0.2 interface ens3 interface ens4 interface ens5 |
PE1
|
|
# linux shell sysctl net.mpls.conf.ens3.input=1 |
|
|
# vtysh config mpls ldp router-id 10.0.0.1 address-family ipv4 discovery transport-address 10.0.0.1 interface ens3 |
PE2
|
|
# linux shell sysctl net.mpls.conf.ens3.input=1 |
|
|
# vtysh config mpls ldp router-id 10.0.0.3 address-family ipv4 discovery transport-address 10.0.0.3 interface ens3 |
RR
其实 RR 本来不用被掺和进这个 MPLS 网络的，它只要到所有 PE 的 IP 网络都通即可。但是 FRRouting 当前版本的 LDP daemon 不支持 Downstream Unsolicited 模式，只能运行在 Downstream-on-Demand 模式下，所以如果 RR 不配置 MPLS 的话，从 PE 到 RR 方向的包会在 P 上因为转发表里面没有该条目而被丢掉。迫不得已，我们把 RR 也拖下水。
|
|
# linux shell sysctl net.mpls.conf.ens3.input=1 |
|
|
# vtysh config mpls ldp router-id 10.0.0.4 address-family ipv4 discovery transport-address 10.0.0.4 interface ens3 |
如果不想把 RR 拉下水呢，可以在 RR 上不运行 OSPF，让和 RR 直连的那台 P 或者 PE 把到 RR 的静态路由分发到网内。或者可以用
label local allocate for 强制 LDP 分发到 RR 的 prefix 的 label。
检查
两两邻接的路由器之间 LDP 会话应该已经成功建立。例如在 P 上：
|
|
# vtysh show mpls ldp neighbor |
应该会看到三个会话：
|
|
AF ID State Remote Address Uptime ipv4 10.0.0.1 OPERATIONAL 10.0.0.1 09:40:33 ipv4 10.0.0.3 OPERATIONAL 10.0.0.3 09:40:01 ipv4 10.0.0.4 OPERATIONAL 10.0.0.4 08:18:28 |
并且所有路由器之间使用 loopback IP 互相 ping 应该仍然能通。（这个时候使用 loopback IP 的包已经会从 MPLS 网络转发，而不是走原来的 IP 网络了。）
在 PE 上配置 iBGP
iBGP 只需要在 PE 上配置，P 完全不用配置，这是 MPLS 的好处之一：核心路由器只需要处理转发流量，不需要再费心思存储路由表和处理路由表更新。iBGP 呢用 full mesh 也行，RR 也行；既然图片上画了 RR，这里就用 RR 的配置方法：所有 PE 和 RR 启动 BGP 会话。本文只演示 IPv4 的配置方法，对每个会话禁用 IPv4 unicast 的 SAFI，启动 IPv4 VPN（VPNv4）的 SAFI。IPv6 配置方法类似，启用 IPv6 VPN 的 SAFI 即可，不再赘述。
对于生产环境而言，单台 RR 是一个非常容易出问题的单点故障源。Packet Pusher 有很不错的关于 RR 冗余架构设计的文章可供参考。
RR
|
|
# vtysh config router bgp 65000 no bgp default ipv4-unicast neighbor 10.0.0.1 remote-as 65000 neighbor 10.0.0.1 update-source dummy0 neighbor 10.0.0.3 remote-as 65000 neighbor 10.0.0.3 update-source dummy0 address-family ipv4 vpn neighbor 10.0.0.1 activate neighbor 10.0.0.1 route-reflector-client neighbor 10.0.0.3 activate neighbor 10.0.0.3 route-reflector-client |
PE1 和 PE2
|
|
# vtysh config router bgp 65000 no bgp default ipv4-unicast neighbor 10.0.0.4 remote-as 65000 neighbor 10.0.0.4 update-source dummy0 address-family ipv4 vpn neighbor 10.0.0.4 activate |
检查
BGP 会话应当正常建立。
在 PE 上配置 VRF
Linux 配置 VRF 有两种方法，一种是 net namespace，一种是 VRF interface。前者是 Linux 专有的抽象方式，在多个 net namespace 之间实现路由泄露和数据交换很不方便，但是对于容器和半虚拟化等应用场景很实用。由于这里只是把 Linux 系统作为路由器使用，本文选择了相对更加贴近商业路由器系统设计的 VRF interface 模式。
配置的思路很简单：每个 VRF interface 在创建的时候会被关联到一个路由表（由 table ID 唯一标识），然后就像把二层端口加入 bridge 一样，你可以把三层端口加入 VRF。为了保证新建立的路由表能被特定程序读取，这边默认会往路由表写一条 metrics 设为最大值的默认路由，这样既能保证路由表存在，又不影响其它路由的正常使用。
为了防止操作失误，我们在每台 PE 上对同一个客户使用同样的 VRF 名称和 table ID。
PE1
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
# linux shell # customer 1 ip link add customer1 type vrf table 100 ip link set customer1 up ip route add vrf customer1 unreachable default metric 4278198272 ip -6 route add vrf customer1 unreachable default metric 4278198272 ip link set ens4 vrf customer1 ip link set ens4 up ip addr add 172.19.1.1/24 dev ens4 # customer 2 ip link add customer2 type vrf table 200 ip link set customer2 up ip route add vrf customer2 unreachable default metric 4278198272 ip -6 route add vrf customer2 unreachable default metric 4278198272 ip link set ens5 vrf customer2 ip link set ens5 up ip addr add 172.19.1.1/24 dev ens5 |
PE2
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
# linux shell # customer 1 ip link add customer1 type vrf table 100 ip link set customer1 up ip route add vrf customer1 unreachable default metric 4278198272 ip -6 route add vrf customer1 unreachable default metric 4278198272 ip link set ens4 vrf customer1 ip link set ens4 up ip addr add 172.19.2.1/24 dev ens4 # customer 2 ip link add customer2 type vrf table 200 ip link set customer2 up ip route add vrf customer2 unreachable default metric 4278198272 ip -6 route add vrf customer2 unreachable default metric 4278198272 ip link set ens5 vrf customer2 ip link set ens5 up ip addr add 172.19.2.1/24 dev ens5 |
把客户的路由重分发到核心网的 VRF 路由表
限于篇幅，只演示 connected 路由的重分发，不在 PE 和 CE 之间配置动态路由协议了。这里要做的事情是，在每个 VRF 上创建一个空的（没有 peer 的）BGP 配置，把 VRF 内要分发的路由先导入该 BGP 的 RIB，然后让它把路由表打上特定 route distinguisher community 以后导入主 BGP 的 RIB。
为了防止操作失误，我们在每台 PE 上对同一个客户使用同样（和 table ID 对应）的 RT 和 RD。另外需要注意的是，FRRouting 的 vtysh 虽然语法上和 Cisco IOS 很像，但是在这里是不太一样的。
PE1 和 PE2
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
# vtysh config router bgp 65000 vrf customer1 address-family ipv4 unicast redistribute connected redistribute static label vpn export auto rd vpn export 65000:100 rt vpn both 65000:100 export vpn import vpn router bgp 65000 vrf customer2 address-family ipv4 unicast redistribute connected redistribute static label vpn export auto rd vpn export 65000:200 rt vpn both 65000:200 export vpn import vpn |
配置的时候 FRRouting 会报一个错，不要惊慌，这是个 bug，功能还是能用的。
检查
这时候我们应该可以在每个 PE 上看到每个 VRF 里面出现通过 BGP 重分发来的 connected 路由了。例如在 PE1 上：
|
|
# vtysh show ip bgp vrf customer1 |
应该会看到类似这样的输出：
|
|
BGP table version is 2, local router ID is 172.19.1.1, vrf id 9 Default local pref 100, local AS 65000 Status codes: s suppressed, d damped, h history, * valid, > best, = multipath, i internal, r RIB-failure, S Stale, R Removed Nexthop codes: @NNN nexthop's vrf id, < announce-nh-self Origin codes: i - IGP, e - EGP, ? - incomplete Network Next Hop Metric LocPrf Weight Path *> 172.19.1.0/24 0.0.0.0 0 32768 ? *> 172.19.2.0/24 10.0.0.3@0< 0 100 0 ? Displayed 2 routes and 2 total paths |
配置模拟的客户侧设备
为了模拟 MPLS 对不同客户相同 IP 段的隔离功能，我们把两个客户同一侧的设备的 IP 配置配成完全相同。
customer1-site1 和 customer2-site1
|
|
# linux shell ip link set ens3 up ip addr add 172.19.1.2/24 dev ens3 ip route add default via 172.19.1.1 |
customer1-site2 和 customer2-site2
|
|
# linux shell ip link set ens3 up ip addr add 172.19.2.2/24 dev ens3 ip route add default via 172.19.2.1 |
检查
首先我们确认同一个客户的两个站点之间可以互相 ping 通。由于我们的配置启用了 PHP 和 TTL propagation，同一个客户的两台设备中间经过三台 MPLS 路由器以后会出现两跳非 IP 路由，所以如果我们使用 traceroute 或者 mtr 来测试的话会看到以下输出：
可惜的是，Linux 部分支持 RFC4884，完全不支持 RFC4950，所以 traceroute -e 和 mtr --mpls 没法显示路上的 MPLS 详细信息。
如果想要简单地验证一下确实是同一个客户的两个站点被连接起来了的话，可以使用 netcat 启动一个简单的 TCP 聊天服务，只需要在一个客户的其中一个站点启动服务器：
|
|
# linux shell nc -l -p 8888 |
然后在同一个客户的另一个站点连接服务器：
|
|
# linux shell nc 172.19.2.2 8888 |
连接上以后，在两边输入任意字符并按回车，对端都会显示相同的字符。
MPLS……
Linux 的发展史可以概括为一个小故事：某天你想要造个模型飞机玩，就照着真飞机的样子用木棍和纸片随手搭了一个起来放在后院；第二天起床一看，昨天随手搭的那个飞机已经被邻居开上了天，上面坐着十几二十个乘客，还有两三个人正趴在机翼上边维持平衡边修发动机呢。
“反正是免费提供的，摔下来也不关我事，管他呢。” 你在心里默默地想，然后该干啥干啥去了。
致谢：
两位 CCIE 大佬对本文的写作做出了巨大贡献。
参考：
Pingback 引用通告：
en3 en4 en5 接口是如何创建的， IP 地址对于其他 P PE 节点可以访问到。
MPLS 下面需要是一个以太网连接或者支持 MPLS 的隧道协议（ ） 。 。
拓扑 A—-B—-C 这样的连接关系， A 向 C 的 lo 接口 IP 发 ping 报文， B 的时候， 没有向 B-C 接口转发 主路由表上有 C 的 lo 接口 IP 的 encap mpls 的路由条目， B 上没有任何 encap mpls 条目 上的 ip -M route 上的路由表看起来是正常的， ？ 因为我长期做 ip base 的策略路由， 0 的， mpls accept 感觉应该也调成 1 了
差不多是按上面的方案配完之后
A
B
是否有什么思路能解决为什么不转发的原因
rp_filter
如果你全网关闭了 PHP 功能的话， ， ， ， 。
Debug 思路大概是这样： ， ； ， ， （ ） ， 。
续一下上次的问题（ B 能 tcpdump 到 A 发过来的 mpls 包， 52（ ） ， ipv4 172.22.0.4/32 172.22.0.4 52 imp-null yes， remote label 为 imp-null 是否为预期的结果呢？ 看起来都是正确的， 如果这里应该显示 C 的 loopback IP（ discoveryIP 都设置为 loopback 的 IP 了， dummy 接口， netplan 无网卡的 bridges 来模拟 loopback 接口， ） ， 上的 ip -M route 的结果是
在
对应规则是
请问
destination
B
52 via inet 10.0.254.77 dev dev-BtoC proto ldp
这个倒是符合预期的
拓扑（ ） （ ） （ ）
A
B
C
如果你是从 A ping C 的 loopback IP 获得这样的结果， ， ， ， ，
最后发现似乎是 mpls 包不转发的问题， 里不加这一条似乎就正常了。 。 ， bbr 所以之前没意识到这个问题 no-php-flag 的时候， gre 隧道， ， drop 掉（ ） ， 外层的网卡看不到包； tap 网卡， （ ）
net.core.default_qdisc = fq
可能触发
在全网开启
如果加上这条