1、高可用集群简述

在前面k8s学习中,我们只使用一个master节点进行调度,当此节点dowm掉后k8s将无法进行后续的部署管理工作。本项目将通过haproxy配置三台 master主机实现负载均衡,通过k8s三台master主机实现k8s集群高可用。
流程图如下
 
准备五台虚拟机,分工如下

  • server1(172.25.11.1)是harbor仓库,分1G内存
  • server5(172.25.11.5)server6(172.25.11.6)server7(172.25.11.7)是集群的master端,各分2G内存
  • server5(172.25.11.5)还是haproxy负载均衡
  • server8(172.25.11.8)是集群的worker端,分1G内存
  • 宿主机(172.25.11.250)网页测试

因为电脑只有8G内存,按照上面的分发已满8G ,宿主机一点没有了,会卡死。所以我们先起仓库和三个master,成功启动后,把server6和server7的内存降为1G,再创建server8进行测试

2、haproxy负载均衡部署

首先给server5添加虚拟ip172.25.11.100,用来haproxy使用,因为server5即有haproxy也有集群master,这样可以隔离。查看,ping测试可以成功连通
 
server5配置了yum源,
 

server5安装haproxy
 
进入haproxy的配置文件
 

首先添加一个监测haproxy状态的模块,使用80端口。因为server5有haproxy也是k8s集群的master,所以端口要区分,这里haproxy用8443端口,模式为tcp。
真正的后端是server5、server6、server7,rr论叫负载均衡,三个集群的master使用6443端口,模式为tcp。
 
重启haproxy,查看端口,80端口监测haproxy状态,8443端口为haproxy传输端口
 
现在网页访问虚拟ip172.25.11.100/status或者server5的ip172.25.11.5/status都可以查看haproxy的状态
 

3、docker部署

因为有三个集群的master,所以下面的所有操作,三个master都需要做。
提前在真机准备好docker-ce的安装包,放到了apche发布目录。只需在server5上编写yum文件,安装docker-ce
 
server6同样安装docker-ce
 
server7同样安装docker-ce
 
server5设置开机自启dcoker,进入docker目录,编写json文件,指定仓库地址,并修改cgroup的方式为systemed
 
server5发送json文件给server6,server6设置开机自启dcoker
 
server5发送json文件给server7,server7设置开机自启dcoker
 
server5设定桥接模式而不用NAT,重新加载内核参数
 
server6设定桥接模式而不用NAT,重新加载内核参数
 
server7设定桥接模式而不用NAT,重新加载内核参数
 
server5重启docker,查看信息,cgroup改为了systemd,并且没有警告出现
 
server6重启docker,查看信息,cgroup改为了systemd,并且没有警告出现
 
server7重启docker,查看信息,cgroup改为了systemd,并且没有警告出现
 
给三个master发以前产生的证书文件
 
并且三个master都要设置地址解析/etc/hosts,尤其要添加仓库的地址解析
 
测试docker是否安装成功,拉取镜像,成功
 

4、k8s集群部署

在部署了docker的基础上,还需要部署管理集群的工具,kubernetes
部署k8s时,三个master需要有2个CPU,2G内存
server5关闭swap分区
 
server6关闭swap分区
 
server7关闭swap分区
 
提前准备了k8s的安装包,发给server5、server6、server7
 
server5安装k8s(kubeadm,kubelet,kubectl)
 
server6安装k8s(kubeadm,kubelet,kubectl)
 
server7安装k8s(kubeadm,kubelet,kubectl)
 
server5开启kubelet并设置开机自启
 
server6开启kubelet并设置开机自启
 
server7开启kubelet并设置开机自启
 
server5打开IPVS模块
 
server6打开IPVS模块
 
server7打开IPVS模块
 
server5输出kubeadm初始化文件,修改kubeadm-init.yaml文件
 
设定本机ip和名称,设定集群调用的api端口为6443。设定访问集群的虚拟ip为172.25.11.100:8443,和前面的haproxy处一致
 
添加仓库地址,指定k8s版本为1.21.3,pod的网段为10.244,svc的网段为10.96,kube_proxy使用IPVS模式。
 
server5提前拉取所需镜像
 
server5初始化k8s集群
 
初始化成功会显示申明命令、加入master的命令和加入worker的命令,保存下来
 
根据提示信息,申明查看节点现在只有server5,查看pod,发现有两个没有ready,这是因为没有安装网络插件
 
由于没有补齐,操作不舒服,先输入补齐命令,重新加载~/.bashrc,现在有补齐了
 
给server5发送安装flannel网络组件的文件
 
编辑kube-flannel.yaml文件,修改网络类型为host-gw直连网关
 
应用kube-flannel.yaml文件,再次查看pod全部正常启动了
 
查看节点,server5准备就绪了
 

server6使用之前初始化提示的命令,以master身份加入集群
 
server7也使用之前初始化提示的命令,以master身份加入集群
 
server5查看节点,成功加入,且就绪了
 

现在网页查看haproxy的三个节点,成功开启
 

5、k8s集群添加worker节点

由于内存限制,把server6和server7的内存调整为1G,开启新的虚拟机server8,给server8执行前面的操作。
把docker的yum文件发给server8,把k8s的安装包给server8
 
server8安装docker-ce
 
开启docker,发给server8证书文件和json文件
 
同样server8需要地址解析
 
发送内核参数文件给server8
 
server8重新读取内核参数
 
重启docker,查看信息,cgroup改为systemd,且没有警告
 
安装k8s包
 
开机自启docker,关闭swap分区,开机自启kubelet,使用初始化产生的命令,以worker节点的身份加入集群
 
在server5处,查看节点,已成功加入集群
 

在master端创建一个pod,成功
 

查看到该pod实际在server8上,访问测试成功
 

6、高可用测试

运行一个pod节点于当前master主机,当此master主机down掉后,节点仍然可在其他master主机上查看状况并进行操作管理。现在我们应该关闭其中一个master端,测试其他master能否正常接管,由于我这里server5有haproxy也是master,关掉他,看不到效果了,所以测试关掉server6。

注意三个master k8s主机只容忍最多一个down掉,其余两个保持高可用。

现在关闭server6这个master,测试pod是否能够正常运行,测试其他master端能否正常管理
 

pod正常运行
 

网页haproxy可以看到server6关闭了
 
也可以使用命令行查看server6关闭了