1. Flannel方案
-
Flannel方案的后端实现分为UDP、VXLAN、host-gw这三种,本次实验主要是通过VXLAN实现。 首先贴出一张经典的VXLAN方案的网络传输示意图:
-
首先我们介绍容器网络的各个组件功能:
- (1). flannel.1:VTEP设备(虚拟二层设备)
- (2). cni0:Kubernetes通过一个叫作CNI的接口,维护了一个单独的网桥来代替docker0。这个网桥的名字就叫作:CNI网桥,它在宿主机上的设备名称默认是:cni0。
- (3). eth0:宿主机的网卡
- 本次实验,我们在master的eth0上进行抓包,从数据包的格式上看,这是一个overlay(覆盖网络)的报文格式
2. calico方案:(一般部署在私有云上,因为公有云的路由信息不好改)
- calico工作原理
- calico中的BGP路由信息同步方案:
- 1、node-to-node mesh:每台宿主机上的 BGP Client 都需要跟其他所有节点的 BGP Client 进行通信以便交换路由信息
- 2、Route Reflector:在这种模式下,Calico 会指定一个或者几个专门的节点,来负责跟所有节点建立 BGP 连接从而学习到全局的路由规则。而其他节点,只需要跟这几个专门的节点交换路由信息,就可以获得整个集群的路由规则信息了。
2. calico的IPIP工作模式(跨子网)
附录:
k8s抓包测试环境
查看虚拟网卡veth pair
查看网桥cni0上的虚拟网卡
[master]# yum install bridge-utils -y
[master]# brctl show
bridge name bridge id STP enabled interfaces
cni0 8000.822a0551fe51 no veth01d2bc26
veth1b7415be
veth48059492
veth6174f7d6
veth6a56ab55
vethf3807a14
vethfbd1eb75
docker0 8000.024218847f20 no
查找容器网卡对应的主机上veth pair
比如,容器tea-6fb46d899f-4zkt2的IP地址是10.244.0.60:
[root@master conf]# kubectl describe pod tea-6fb46d899f-4zkt2 | grep IP
IP: 10.244.0.60
它的MAC地址是B2:AD:3A:6E:3A:4F,如下:
[root@master conf]# kubectl exec -it tea-6fb46d899f-4zkt2 -- sh
/ $ ip addr
3: eth0@if17: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1450 qdisc noqueue state UP
link/ether b2:ad:3a:6e:3a:4f brd ff:ff:ff:ff:ff:ff
inet 10.244.0.60/24 brd 10.244.0.255 scope global eth0
valid_lft forever preferred_lft forever
inet6 fe80::b0ad:3aff:fe6e:3a4f/64 scope link
valid_lft forever preferred_lft forever
注意,它的eth0序号是17。那么,它对应的主机veth pair虚拟网卡就是vetha1f852ea:
[root@master wp]# ip link show | egrep "veth" | awk -F":" '{print $1": "$2}'
14: veth120e0e5a@if3
15: veth7bd66290@if3
16: veth16a8de20@if3
17: vetha1f852ea@if3
18: veth715a2ef5@if3
19: veth094652aa@if3
20: veth7e9e92b7@if3
21: vethb4a73525@if3
当需要抓包时,用tcpdump -i vetha1f852ea即可抓取到容器报文:
[root@master wp]# tcpdump -i vetha1f852ea
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on vetha1f852ea, link-type EN10MB (Ethernet), capture size 262144 bytes
19:51:49.847648 IP 10.244.0.60.54477 > 10.96.0.10.domain: 58561+ A? www.baidu.com.default.svc.cluster.local. (57)
19:51:49.847731 IP 10.244.0.60.54477 > 10.96.0.10.domain: 59710+ AAAA? www.baidu.com.default.svc.cluster.local. (57)
19:51:49.849113 IP 10.244.0.58.domain > 10.244.0.60.54477: 59710 NXDomain*- 0/1/0 (150)
19:51:49.849268 IP 10.244.0.58.domain > 10.244.0.60.54477: 58561 NXDomain*- 0/1/0 (150)
跨L3三层vxlan网络抓包
当172.27.0.11主机上访问172.27.16.10主机上的10.244.1.3容器时,IP、MAC地址的获取如下:
Underlay层的IP与MAC地址
在源主机上执行ifconfig,从eth0上即可看到Underlay源IP为172.27.0.11,以及Underlay源MAC为52:54:00:c2:ee:db:
[root@master wp]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.27.0.11 netmask 255.255.240.0 broadcast 172.27.15.255
inet6 fe80::5054:ff:fec2:eedb prefixlen 64 scopeid 0x20<link>
ether 52:54:00:c2:ee:db txqueuelen 1000 (Ethernet)
RX packets 783420 bytes 872472212 (832.0 MiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 462834 bytes 135019947 (128.7 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
在目的主机上执行同样步骤,获取到Underlay目的IP为172.27.16.10:
[root@VM-16-10-centos ~]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.27.16.10 netmask 255.255.240.0 broadcast 172.27.31.255
inet6 fe80::5054:ff:fe4e:502 prefixlen 64 scopeid 0x20<link>
ether 52:54:00:4e:05:02 txqueuelen 1000 (Ethernet)
RX packets 39103520 bytes 6692916434 (6.2 GiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1169194048 bytes 117270853999 (109.2 GiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
需要注意,Underlay目的MAC并不是52:54:00:4e:05:02!Underlay目的MAC实际上是交换机的MAC地址fe:ee:32:07:ea:07:
[root@master net]# arp -v
Address HWtype HWaddress Flags Mask Iface
gateway ether fe:ee:32:07:ea:07 C eth0
这样,Underlay层的4个地址都已得到!
Overlay层的IP与MAC地址
目标容器的IP地址是10.244.1.3,但MAC地址却不能是容器的MAC地址,而必须是flannel.1的地址,因为flannel程序需要将Underlay层剥离,同时修改Overlay层,所以目标MAC地址其实是2a:3c:a0:e1:a9:b6:
[root@master net]# arp -v
Address HWtype HWaddress Flags Mask Iface
10.244.1.0 ether 2a:3c:a0:e1:a9:b6 CM flannel.1
而源IP地址与MAC要根据路由规则来。比如,访问10.244.1.3是通过flannel.1网卡进行的:
[root@master net]# ip route
default via 172.27.0.1 dev eth0
10.244.1.0/24 via 10.244.1.0 dev flannel.1 onlink
172.27.0.0/20 dev eth0 proto kernel scope link src 172.27.0.11
而flannel.1虚拟网卡的IP地址则是10.244.0.0:
[root@master net]# ifconfig flannel.1
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1450
inet 10.244.0.0 netmask 255.255.255.255 broadcast 10.244.0.0
ether 8e:5c:79:80:cd:cc txqueuelen 0 (Ethernet)
[root@master net]# ifconfig eth0
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.27.0.11 netmask 255.255.240.0 broadcast 172.27.15.255
ether 52:54:00:c2:ee:db txqueuelen 1000 (Ethernet)
它的MAC地址则是8e:5c:79:80:cd:cc。
参考目录:
- 张磊《深入剖析Kubernetes》
- 陶辉:https://github.com/russelltao/protocol-2day-training