跨主機網(wǎng)絡通信

它是 K8s 中標準的一個調用網(wǎng)絡實現(xiàn)的接口，kubelet通過這個API來調用不同的網(wǎng)絡插件以實現(xiàn)不同的網(wǎng)絡配置，實現(xiàn)了這個接口的就是CNI插件，它實現(xiàn)了一系列的CNI API接口。目前已經(jīng)有的包括flannel、calico、weave、contiv等等。

實際上 CNI 的容器網(wǎng)絡通信流程跟前面的基礎網(wǎng)絡一樣，只是CNI維護了一個單獨的網(wǎng)橋來代替 docker0。這個網(wǎng)橋的名字就叫作：CNI 網(wǎng)橋，它在宿主機上的設備名稱默認是：cni0。

cni的設計思想，就是：Kubernetes 在啟動 Infra 容器之后，就可以直接調用 CNI 網(wǎng)絡插件，為這個 Infra 容器的 Network Namespace，配置符合預期的網(wǎng)絡棧。

CNI 插件三種網(wǎng)絡實現(xiàn)模式：

• overlay 模式是基于隧道技術實現(xiàn)的，整個容器網(wǎng)絡和主機網(wǎng)絡獨立，容器之間跨主機通信時將整個容器網(wǎng)絡封裝到底層網(wǎng)絡中，然后到達目標機器后再解封裝傳遞到目標容器。不依賴與底層網(wǎng)絡的實現(xiàn)。實現(xiàn)的插件有flannel（UDP、vxlan）、calico（IPIP）等等
• 三層路由模式中容器和主機也屬于不通的網(wǎng)段，他們容器互通主要是基于路由表打通，無需在主機之間建立隧道封包。但是限制條件必須依賴大二層同個局域網(wǎng)內。實現(xiàn)的插件有flannel（host-gw）、calico（BGP）等等
• underlay網(wǎng)絡是底層網(wǎng)絡，負責互聯(lián)互通。容器網(wǎng)絡和主機網(wǎng)絡依然分屬不同的網(wǎng)段，但是彼此處于同一層網(wǎng)絡，處于相同的地位。整個網(wǎng)絡三層互通，沒有大二層的限制，但是需要強依賴底層網(wǎng)絡的實現(xiàn)支持.實現(xiàn)的插件有calico（BGP）等等

我們看下路由模式的一種實現(xiàn) flannel Host-gw：

如圖可以看到當 node1上container-1 要發(fā)數(shù)據(jù)給 node2 上的 container2 時，會匹配到如下的路由表規(guī)則：

表示前往目標網(wǎng)段 10.244.1.0/24 的 IP 包，需要經(jīng)過本機 eth0 出去發(fā)往的下一跳ip地址為10.168.0.3（node2）。然后到達 10.168.0.3 以后再通過路由表轉發(fā) cni 網(wǎng)橋，進而進入到 container2。

這種網(wǎng)絡模式最大的好處就是避免了額外的封包和解包帶來的網(wǎng)絡性能損耗。缺點我們也能看見主要就是容器ip包通過下一跳出去時，必須要二層通信封裝成數(shù)據(jù)幀發(fā)送到下一跳。如果不在同個二層局域網(wǎng)，那么就要交給三層網(wǎng)關，而此時網(wǎng)關是不知道目標容器網(wǎng)絡的（也可以靜態(tài)在每個網(wǎng)關配置pod網(wǎng)段路由）。所以 flannel host-gw 必須要求集群宿主機是二層互通的。

而為了解決二層互通的限制性，calico提供的網(wǎng)絡方案就可以更好的實現(xiàn)，calico 大三層網(wǎng)絡模式與flannel 提供的類似，也會在每臺宿主機添加如下格式的路由規(guī)則：

BGP 全稱是 Border Gateway Protocol邊界網(wǎng)關協(xié)議,linxu原生支持的、專門用于在大規(guī)模數(shù)據(jù)中心為不同的自治系統(tǒng)之間傳遞路由信息。只要記住BGP簡單理解其實就是實現(xiàn)大規(guī)模網(wǎng)絡中節(jié)點路由信息同步共享的一種協(xié)議。而BGP這種協(xié)議就能代替flannel 維護主機路由表功能。

• calico cni插件: 主要負責與kubernetes對接，供kubelet調用使用。
• felix: 負責維護宿主機上的路由規(guī)則、FIB轉發(fā)信息庫等。
• BIRD: 負責分發(fā)路由規(guī)則，類似路由器。
• confd: 配置管理組件。

除此之外，calico 還和 flannel host-gw 不同之處在于，它不會創(chuàng)建網(wǎng)橋設備，而是通過路由表來維護每個pod的通信，如下圖所示：

可以看到 calico 的 cni 插件會為每個容器設置一個 veth pair 設備，然后把另一端接入到宿主機網(wǎng)絡空間，由于沒有網(wǎng)橋，cni 插件還需要在宿主機上為每個容器的 veth pair設備配置一條路由規(guī)則，用于接收傳入的IP包，路由規(guī)則如下：

以上表示發(fā)送10.92.77.163的IP包應該發(fā)給cali93a8a799fe1設備，然后到達另外一段容器中。

有了這樣的veth pair設備以后，容器發(fā)出的IP包就會通過veth pair設備到達宿主機，然后宿主機根據(jù)路有規(guī)則的下一條地址，發(fā)送給正確的網(wǎng)關(10.100.1.3)，然后到達目標宿主機，在到達目標容器。

這些路由規(guī)則都是felix維護配置的，而路由信息則是calico bird組件基于BGP分發(fā)而來。calico實際上是將集群里所有的節(jié)點都當做邊界路由器來處理,他們一起組成了一個全互聯(lián)的網(wǎng)絡，彼此之間通過BGP交換路由，這些節(jié)點我們叫做BGP Peer。

需要注意的是calico 維護網(wǎng)絡的默認模式是 node-to-node mesh ,這種模式下，每臺宿主機的BGP client都會跟集群所有的節(jié)點BGP client進行通信交換路由。這樣一來，隨著節(jié)點規(guī)模數(shù)量N的增加，連接會以N的2次方增長，會集群網(wǎng)絡本身帶來巨大壓力。

所以一般這種模式推薦的集群規(guī)模在50節(jié)點左右,超過50節(jié)點推薦使用另外一種RR（Router Reflector）模式，這種模式下，calico 可以指定幾個節(jié)點作為RR，他們負責跟所有節(jié)點 BGP client 建立通信來學習集群所有的路由，其他節(jié)點只需要跟RR節(jié)點交換路由即可。這樣大大降低了連接數(shù)量，同時為了集群網(wǎng)絡穩(wěn)定性，建議RR>=2.

以上的工作原理依然是在二層通信，當我們有兩臺宿主機，一臺是10.100.0.2/24，節(jié)點上容器網(wǎng)絡是10.92.204.0/24;另外一臺是10.100.1.2/24,節(jié)點上容器網(wǎng)絡是10.92.203.0/24,此時兩臺機器因為不在同個二層所以需要三層路由通信，這時calico就會在節(jié)點上生成如下路由表：

這時候問題就來了，因為10.100.1.2跟我們10.100.0.2不在同個子網(wǎng)，是不能二層通信的。這之后就需要使用Calico IPIP模式，當宿主機不在同個二層網(wǎng)絡時就是用overlay網(wǎng)絡封裝以后再發(fā)出去。如下圖所示：

IPIP模式下在非二層通信時，calico 會在node節(jié)點添加如下路由規(guī)則:

可以看到盡管下一條任然是node的IP地址，但是出口設備卻是tunnel0,其是一個IP隧道設備，主要有Linux內核的IPIP驅動實現(xiàn)。會將容器的ip包直接封裝宿主機網(wǎng)絡的IP包中，這樣到達node2以后再經(jīng)過IPIP驅動拆包拿到原始容器IP包，然后通過路由規(guī)則發(fā)送給veth pair設備到達目標容器。

以上盡管可以解決非二層網(wǎng)絡通信，但是仍然會因為封包和解包導致性能下降。如果calico 能夠讓宿主機之間的router設備也學習到容器路由規(guī)則，這樣就可以直接三層通信了。比如在路由器添加如下的路由表：

而node1添加如下的路由表:

那么node1上的容器發(fā)出的IP包，基于本地路由表發(fā)送給10.100.1.1網(wǎng)關路由器，然后路由器收到IP包查看目的IP，通過本地路由表找到下一跳地址發(fā)送到node2，最終到達目的容器。這種方案，我們是可以基于underlay 網(wǎng)絡來實現(xiàn)，只要底層支持BGP網(wǎng)絡，可以和我們RR節(jié)點建立EBGP關系來交換集群內的路由信息。

以上就是kubernetes 常用的幾種網(wǎng)絡方案了，在公有云場景下一般用云廠商提供的或者使用flannel host-gw這種更簡單，而私有物理機房環(huán)境中，Calico項目更加適合。根據(jù)自己的實際場景，再選擇合適的網(wǎng)絡方案。