附012.Kubeadm部署高可用Kubernetes

时间:2019-12-04 木二人气:0

一 kubeadm介绍

1.1 概述

参考《附003.Kubeadm部署Kubernetes》。

1.2 kubeadm功能

参考《附003.Kubeadm部署Kubernetes》。

二部署规划

2.1 节点规划

节点主机名	IP	类型	运行服务
k8smaster01	172.24.8.71	Kubernetes master节点	docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、heapster、calico
k8smaster02	172.24.8.72	Kubernetes master节点	docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、 kubelet、heapster、calico
k8smaster03	172.24.8.73	Kubernetes master节点	docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、 kubelet、heapster、calico
k8snode01	172.24.8.74	Kubernetes node节点1	docker、kubelet、proxy、calico
k8snode02	172.24.8.75	Kubernetes node节点2	docker、kubelet、proxy、calico
k8snode03	172.24.8.76	Kubernetes node节点3	docker、kubelet、proxy、calico

Kubernetes的高可用主要指的是控制平面的高可用，即指多套Master节点组件和Etcd组件，工作节点通过负载均衡连接到各Master。HA有通常有如下两种架构：

高可用架构一：etcd与Master节点组件混布在一起。

高可用架构二：使用独立的Etcd集群，不与Master节点混布。

释义：

两种方式的相同之处在于都提供了控制平面的冗余，实现了集群高可以用，区别在于：

Etcd混布方式

所需机器资源少
部署简单，利于管理
容易进行横向扩展
风险大，一台宿主机挂了，master和etcd就都少了一套，集群冗余度受到的影响比较大。

Etcd独立部署方式：

所需机器资源多（按照Etcd集群的奇数原则，这种拓扑的集群关控制平面最少需要6台宿主机了）
部署相对复杂，要独立管理etcd集群和和master集群
解耦了控制平面和Etcd，集群风险小健壮性强，单独挂了一台master或etcd对集群的影响很小

提示：本实验使用高可用架构一实现Kubernetes的高可用。

2.2 初始准备

  1 [root@k8smaster01 ~]# vi k8sinit.sh
  2 # Modify Author: xhy
  3 # Modify Date: 2019-06-23 22:19
  4 # Version:
  5 #***************************************************************#
  6 # Initialize the machine. This needs to be executed on every machine.
  7 
  8 # Add host domain name.
  9 cat >> /etc/hosts << EOF
 10 172.24.8.71 k8smaster01
 11 172.24.8.72 k8smaster02
 12 172.24.8.73 k8smaster03
 13 172.24.8.74 k8snode01
 14 172.24.8.75 k8snode02
 15 172.24.8.76 k8snode03
 16 EOF
 17 
 18 # Add docker user
 19 useradd -m docker
 20 
 21 # Disable the SELinux.
 22 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
 23 
 24 # Turn off and disable the firewalld.
 25 systemctl stop firewalld
 26 systemctl disable firewalld
 27 
 28 # Modify related kernel parameters & Disable the swap.
 29 cat > /etc/sysctl.d/k8s.conf << EOF
 30 net.ipv4.ip_forward = 1
 31 net.bridge.bridge-nf-call-ip6tables = 1
 32 net.bridge.bridge-nf-call-iptables = 1
 33 net.ipv4.tcp_tw_recycle = 0
 34 vm.swappiness = 0
 35 vm.overcommit_memory = 1
 36 vm.panic_on_oom = 0
 37 net.ipv6.conf.all.disable_ipv6 = 1
 38 EOF
 39 sysctl -p /etc/sysctl.d/k8s.conf >&https://img.qb5200.com/download-x/dev/null
 40 swapoff -a
 41 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
 42 modprobe br_netfilter
 43 
 44 # Add ipvs modules
 45 cat > /etc/sysconfig/modules/ipvs.modules <<EOF
 46 #!/bin/bash
 47 modprobe -- ip_vs
 48 modprobe -- ip_vs_rr
 49 modprobe -- ip_vs_wrr
 50 modprobe -- ip_vs_sh
 51 modprobe -- nf_conntrack_ipv4
 52 EOF
 53 chmod 755 /etc/sysconfig/modules/ipvs.modules
 54 bash /etc/sysconfig/modules/ipvs.modules
 55 
 56 # Install rpm
 57 yum install -y conntrack git ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget gcc gcc-c++ make openssl-devel
 58 
 59 # Install Docker Compose
 60 sudo curl -L "https://github.comhttps://img.qb5200.com/download-x/docker/compose/releaseshttps://img.qb5200.com/download-x/download/1.25.0https://img.qb5200.com/download-x/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/binhttps://img.qb5200.com/download-x/docker-compose
 61 sudo chmod +x /usr/local/binhttps://img.qb5200.com/download-x/docker-compose
 62 
 63 # Update kernel
 64 rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
 65 rpm -Uvh https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
 66 yum --disablerepo="*" --enablerepo="elrepo-kernel" install -y kernel-ml-5.4.1-1.el7.elrepo
 67 sed -i 's/^GRUB_DEFAULT=.*/GRUB_DEFAULT=0/' /etchttps://img.qb5200.com/download-x/default/grub
 68 grub2-mkconfig -o /boot/grub2/grub.cfg
 69 yum update -y
 70 
 71 # Reboot the machine.
 72 reboot

提示：对于某些特性，可能需要升级内核，因此如上脚本将内核升级至5.4。

2.3 互信配置

为了更方便远程分发文件和执行命令，本实验配置master节点到其它节点的 ssh 信任关系。

  1 [root@k8smaster01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N ''
  2 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster01
  3 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster02
  4 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster03
  5 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode01
  6 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode02
  7 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode03

提示：此操作仅需要在master节点操作。

三集群部署

3.1 Docker安装

  1 [root@k8smaster01 ~]# yum -y update
  2 [root@k8smaster01 ~]# yum -y install yum-utils device-mapper-persistent-data lvm2
  3 [root@k8smaster01 ~]# yum-config-manager \
  4 --add-repo \
  5 http://mirrors.aliyun.comhttps://img.qb5200.com/download-x/docker-ce/linux/centoshttps://img.qb5200.com/download-x/docker-ce.repo
  6 [root@k8smaster01 ~]# yum list docker-ce --showduplicates | sort -r		#查看可用版本
  7 [root@k8smaster01 ~]# yum -y install docker-ce-18.09.9-3.el7.x86_64		#kubeadm当前不支持18.09以上版本
  8 [root@k8smaster01 ~]# mkdir /etchttps://img.qb5200.com/download-x/docker
  9 [root@k8smaster01 ~]# cat > /etchttps://img.qb5200.com/download-x/dockerhttps://img.qb5200.com/download-x/daemon.json <<EOF
 10 {
 11   "registry-mirrors": ["https:/https://img.qb5200.com/download-x/dbzucv6w.mirror.aliyuncs.com"],
 12   "exec-opts": ["native.cgroupdriver=systemd"],
 13   "log-driver": "json-file",
 14   "log-opts": {
 15     "max-size": "100m"
 16   },
 17   "storage-driver": "overlay2",
 18   "storage-opts": [
 19     "overlay2.override_kernel_check=true"
 20   ]
 21 }
 22 EOF								#配置system管理cgroup

  1 [root@k8smaster01 ~]# systemctl restart docker
  2 [root@k8smaster01 ~]# systemctl enable docker
  3 [root@k8smaster01 ~]# iptables -nvL		#确认iptables filter表中FOWARD链的默认策略(pllicy)为ACCEPT

3.2 相关组件包

需要在每台机器上都安装以下的软件包：

kubeadm: 用来初始化集群的指令；

kubelet: 在集群中的每个节点上用来启动 pod 和 container 等；

kubectl: 用来与集群通信的命令行工具。

kubeadm不能安装或管理 kubelet 或 kubectl ，所以得保证他们满足通过 kubeadm 安装的 Kubernetes 控制层对版本的要求。如果版本没有满足要求，可能导致一些意外错误或问题。

具体相关组件安装见《附001.kubectl介绍及使用》。

提示：所有Master+Worker节点均需要如上操作。

Kubernetes 1.15版本所有兼容相应组件的版本参考：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.15.md。

3.3 正式安装

  1 [root@k8smaster01 ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
  2 [kubernetes]
  3 name=Kubernetes
  4 baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
  5 enabled=1
  6 gpgcheck=1
  7 repo_gpgcheck=1
  8 gpgkey=https://mirrors.aliyun.com/kubernetes/yumhttps://img.qb5200.com/download-x/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yumhttps://img.qb5200.com/download-x/doc/rpm-package-key.gpg
  9 EOF
 10 #配置yum源

  1 [root@k8smaster01 ~]# yum search kubelet --showduplicates		#查看相应版本
  2 [root@k8smaster01 ~]# yum install -y kubeadm-1.15.6-0.x86_64 kubelet-1.15.6-0.x86_64 kubectl-1.15.6-0.x86_64 --disableexcludes=kubernetes

说明：同时安装了cri-tools, kubernetes-cni, socat三个依赖：

socat：kubelet的依赖；

cri-tools：即CRI(Container Runtime Interface)容器运行时接口的命令行工具。

  1 [root@k8smaster01 ~]# systemctl enable kubelet

提示：所有Master+Worker节点均需要如上操作。此时不需要启动kubelet，初始化的过程中会自动启动的，如果此时启动了会出现报错，忽略即可。

三部署高可用组件I

3.1 Keepalived安装

  1 [root@k8smaster01 ~]# wget https://www.keepalived.org/software/keepalived-2.0.19.tar.gz
  2 [root@k8smaster01 ~]# tar -zxvf keepalived-2.0.19.tar.gz
  3 [root@k8smaster01 ~]# cd keepalived-2.0.19/
  4 [root@k8smaster01 ~]# ./configure --sysconf=/etc --prefix=/usr/local/keepalived
  5 [root@k8smaster01 keepalived-2.0.19]# make && make install
  6 [root@k8smaster01 ~]# systemctl enable keepalived && systemctl start keepalived

提示：所有Master节点均需要如上操作。

3.2 创建配置文件

  1 [root@k8smaster01 ~]# git clone https://github.com/cookeem/kubeadm-ha	#拉取github的高可用自动配置脚本
  2 [root@k8smaster01 ~]# vi /root/kubeadm-ha/kubeadm-config.yaml
  3 apiVersion: kubeadm.k8s.io/v1beta1
  4 kind: ClusterConfiguration
  5 kubernetesVersion: v1.15.6						#配置安装的版本
  6 ……
  7 podSubnet: "10.10.0.0/16"						#指定pod网段及掩码
  8 ……

提示：若需要修改为国内Kubernetes初始化镜像源，可通过在kubeadm-config.yaml中追加如下参数，若参考4.1步骤提前下载：

imageRepository: registry.cn-hangzhou.aliyuncs.com/google_container

  1 [root@k8smaster01 ~]# cd kubeadm-ha/
  2 [root@k8smaster01 kubeadm-ha]# vi create-config.sh
  3 # master keepalived virtual ip address
  4 export K8SHA_VIP=172.24.8.100
  5 # master01 ip address
  6 export K8SHA_IP1=172.24.8.71
  7 # master02 ip address
  8 export K8SHA_IP2=172.24.8.72
  9 # master03 ip address
 10 export K8SHA_IP3=172.24.8.73
 11 # master keepalived virtual ip hostname
 12 export K8SHA_VHOST=k8smaster01
 13 # master01 hostname
 14 export K8SHA_HOST1=k8smaster01
 15 # master02 hostname
 16 export K8SHA_HOST2=k8smaster02
 17 # master03 hostname
 18 export K8SHA_HOST3=k8smaster03
 19 # master01 network interface name
 20 export K8SHA_NETINF1=eth0
 21 # master02 network interface name
 22 export K8SHA_NETINF2=eth0
 23 # master03 network interface name
 24 export K8SHA_NETINF3=eth0
 25 # keepalived auth_pass config
 26 export K8SHA_KEEPALIVED_AUTH=412f7dc3bfed32194d1600c483e10ad1d
 27 # calico reachable ip address
 28 export K8SHA_CALICO_REACHABLE_IP=172.24.8.2
 29 # kubernetes CIDR pod subnet
 30 export K8SHA_CIDR=10.10.0.0
 31 
 32 [root@k8smaster01 kubeadm-ha]# ./create-config.sh

解释：所有Master节点均需要如上操作。执行脚本后会生产如下配置文件清单：

执行create-config.sh脚本后，会自动生成以下配置文件：

kubeadm-config.yaml：kubeadm初始化配置文件，位于kubeadm-ha代码的./根目录
keepalived：keepalived配置文件，位于各个master节点的/etc/keepalived目录
nginx-lb：nginx-lb负载均衡配置文件，位于各个master节点的/root/nginx-lb目录
calico.yaml：calico网络组件部署文件，位于kubeadm-ha代码的./calico目录

3.3 启动Keepalived

  1 [root@k8smaster01 ~]# cat /etc/keepalived/keepalived.conf
  2 [root@k8smaster01 ~]# cat /etc/keepalived/check_apiserver.sh

  1 [root@k8smaster01 ~]# systemctl restart keepalived.service
  2 [root@k8smaster01 ~]# systemctl status keepalived.service
  3 [root@k8smaster01 ~]# ping 172.24.8.100
  4

提示：所有Master节点均需要如上操作。

3.4 启动Nginx

执行create-config.sh脚本后，nginx-lb的配置文件会自动复制到各个master的节点的/root/nginx-lb目录

  1 [root@k8smaster01 ~]# cd /root/nginx-lb/

  1 [root@k8smaster01 nginx-lb]# docker-compose up -d	        #使用docker-compose方式启动nginx-lb
  2 [root@k8smaster01 ~]# docker-compose ps			#检查nginx-lb启动状态

提示：所有Master节点均需要如上操作。

四初始化集群-Mater

4.1 Master上初始化

  1 [root@k8smaster01 ~]# kubeadm --kubernetes-version=v1.15.6 config images list	#列出所需镜像
  2 k8s.gcr.io/kube-apiserver:v1.15.6
  3 k8s.gcr.io/kube-controller-manager:v1.15.6
  4 k8s.gcr.io/kube-scheduler:v1.15.6
  5 k8s.gcr.io/kube-proxy:v1.15.6
  6 k8s.gcr.io/pause:3.1
  7 k8s.gcr.io/etcd:3.3.10
  8 k8s.gcr.io/coredns:1.3.1

  1 [root@k8smaster01 ~]# kubeadm --kubernetes-version=v1.15.6 config images pull	#拉取kubernetes所需镜像

注意：

由于国内Kubernetes镜像可能无法pull，建议通过VPN等方式提前pull镜像，然后上传至所有master节点。

  1 [root@VPN ~]# docker pull k8s.gcr.io/kube-apiserver:v1.15.6
  2 [root@VPN ~]# docker pull k8s.gcr.io/kube-controller-manager:v1.15.6
  3 [root@VPN ~]# docker pull k8s.gcr.io/kube-scheduler:v1.15.6
  4 [root@VPN ~]# docker pull k8s.gcr.io/kube-proxy:v1.15.6
  5 [root@VPN ~]# docker pull k8s.gcr.io/pause:3.1
  6 [root@VPN ~]# docker pull k8s.gcr.io/etcd:3.3.10
  7 [root@VPN ~]# docker pull k8s.gcr.io/coredns:1.3.1
  8 [root@k8smaster01 ~]# docker load -i kube-apiserver.tar
  9 [root@k8smaster01 ~]# docker load -i kube-controller-manager.tar
 10 [root@k8smaster01 ~]# docker load -i kube-scheduler.tar
 11 [root@k8smaster01 ~]# docker load -i kube-proxy.tar
 12 [root@k8smaster01 ~]# docker load -i pause.tar
 13 [root@k8smaster01 ~]# docker load -i etcd.tar
 14 [root@k8smaster01 ~]# docker load -i coredns.tar

  1 [root@k8smaster01 ~]# kubeadm init --config=/root/kubeadm-ha/kubeadm-config.yaml --upload-certs

保留如下命令用于后续节点添加：

  1 You can now join any number of the control-plane node running the following command on each as root:
  2 
  3   kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
  4     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9 \
  5     --control-plane --certificate-key d8393e3d6c936c2e489e4aff53458c6c5b06ef2a8715f49529494cbd469c1471
  6 
  7 Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
  8 As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
  9 "kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
 10 
 11 Then you can join any number of worker nodes by running the following on each as root:
 12 
 13 kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
 14     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9

注意：如上token具有默认24小时的有效期，token和hash值可通过如下方式获取：

kubeadm token list

如果 Token 过期以后，可以输入以下命令，生成新的 Token

  1 kubeadm token create
  2 openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>https://img.qb5200.com/download-x/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
  3

  1 [root@k8smaster01 ~]# mkdir -p $HOME/.kube
  2 [root@k8smaster01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/admin.conf
  3 [root@k8smaster01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/admin.conf

提示：默认使用k8s.gcr.io拉取镜像，国内用户可通过以下命令使用阿里源：

  1 [root@k8smaster01 ~]# cat << EOF >> ~/.bashrc
  2 export KUBECONFIG=$HOME/.kube/admin.conf
  3 EOF							#设置KUBECONFIG环境变量
  4 [root@k8smaster01 ~]# source ~/.bashrc

附加：初始化过程大致步骤如下：

[kubelet-start] 生成kubelet的配置文件”/var/lib/kubelet/config.yaml”
[certificates]生成相关的各种证书
[kubeconfig]生成相关的kubeconfig文件
[bootstraptoken]生成token记录下来，后边使用kubeadm join往集群中添加节点时会用到

提示：初始化仅需要在master01上执行，若初始化异常可通过[root@master ~]# kubeadm reset && rm -rf $HOME/.kube重置。

4.2 添加其他master节点

  1 [root@k8smaster02 ~]# kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
  2     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9 \
  3     --control-plane --certificate-key d8393e3d6c936c2e489e4aff53458c6c5b06ef2a8715f49529494cbd469c1471

  1 [root@k8smaster02 ~]# mkdir -p $HOME/.kube
  2 [root@k8smaster02 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/admin.conf
  3 [root@k8smaster02 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/admin.conf
  4 [root@k8smaster02 ~]# cat << EOF >> ~/.bashrc
  5 export KUBECONFIG=$HOME/.kube/admin.conf
  6 EOF
  7 [root@k8smaster02 ~]# source ~/.bashrc

提示：master03也如上执行添加至集群的controlplane。

五安装NIC插件

5.1 NIC插件介绍

Calico 是一个安全的 L3 网络和网络策略提供者。

Canal 结合 Flannel 和 Calico， 提供网络和网络策略。

Cilium 是一个 L3 网络和网络策略插件， 能够透明的实施 HTTP/API/L7 策略。 同时支持路由（routing）和叠加/封装（ overlay/encapsulation）模式。

Contiv 为多种用例提供可配置网络（使用 BGP 的原生 L3，使用 vxlan 的 overlay，经典 L2 和 Cisco-SDN/ACI）和丰富的策略框架。Contiv 项目完全开源。安装工具同时提供基于和不基于 kubeadm 的安装选项。

Flannel 是一个可以用于 Kubernetes 的 overlay 网络提供者。

Romana 是一个 pod 网络的层 3 解决方案，并且支持 NetworkPolicy API。Kubeadm add-on 安装细节可以在这里找到。

Weave Net 提供了在网络分组两端参与工作的网络和网络策略，并且不需要额外的数据库。

CNI-Genie 使 Kubernetes 无缝连接到一种 CNI 插件，例如：Flannel、Calico、Canal、Romana 或者 Weave。

提示：本实验使用Calico插件。

5.2 部署calico

  1 [root@k8smaster01 ~]# docker pull calico/cni:v3.6.0
  2 [root@k8smaster01 ~]# docker pull calico/node:v3.6.0
  3 [root@k8smaster01 ~]# docker pull calico/kube-controllers:v3.6.0	#建议提前pull镜像
  4 [root@k8smaster01 ~]# kubectl apply -f kubeadm-ha/calico/calico.yaml

  1 [root@k8smaster01 ~]# kubectl get pods --all-namespaces -o wide		#查看部署

  1 [root@k8smaster01 ~]# kubectl get nodes
  2 NAME          STATUS   ROLES    AGE    VERSION
  3 k8smaster01   Ready    master   174m   v1.15.6
  4 k8smaster02   Ready    master   168m   v1.15.6
  5 k8smaster03   Ready    master   168m   v1.15.6

六部署高可用组件II

6.1 高可用说明

高可用kubernetes集群步骤三已完成配置，但是使用docker-compose方式启动nginx-lb由于无法提供kubernetes集群的健康检查和自动重启功能，nginx-lb作为高可用kubernetes集群的核心组件建议也作为kubernetes集群中的一个pod来进行管理。

在/etc/kubernetes/manifests/目录下，是kubelet直接管理的核心部署文件。现在我们停止原先使用docker-compose启动的nginx-lb，由kubelet直接管理nginx-lb服务。

  1 [root@k8smaster01 ~]# systemctl stop kubelet
  2 [root@k8smaster01 ~]# docker stop nginx-lb && docker rm nginx-lb

提示：所有Master节点均需要如上操作。

  1 [root@k8smaster01 ~]# export K8SHA_HOST1=k8smaster01
  2 [root@k8smaster01 ~]# export K8SHA_HOST2=k8smaster02
  3 [root@k8smaster01 ~]# export K8SHA_HOST3=k8smaster03
  4 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${K8SHA_HOST1}:/etc/kubernetes/
  5 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${K8SHA_HOST2}:/etc/kubernetes/
  6 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${K8SHA_HOST3}:/etc/kubernetes/
  7 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${K8SHA_HOST1}:/etc/kubernetes/manifests/
  8 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${K8SHA_HOST2}:/etc/kubernetes/manifests/
  9 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${K8SHA_HOST3}:/etc/kubernetes/manifests/

提示：如上操作仅需Master01上执行。

  1 [root@k8smaster01 ~]# systemctl restart kubelet docker			#所有master节点重启相关服务

提示：所有Master节点均需要如上操作。

  1 [root@k8smaster01 ~]# kubectl get pods --all-namespaces -o wide		#再次验证

七添加Worker节点

7.1 下载镜像

为避免node节点无法pull相关镜像，建议体现pull。

  1 [root@k8snode01 ~]# docker load -i pause.tar

提示：所有node节点均需要如上操作。

7.2 添加Node节点

  1 [root@k8snode01 ~]# systemctl enable kubelet.service
  2 [root@k8snode01 ~]# skubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
  3     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9

提示：若添加异常可通过如下方式重置：

  1 [root@node01 ~]# kubeadm reset
  2 [root@node01 ~]# ifconfig cni0 down
  3 [root@node01 ~]# ip link delete cni0
  4 [root@node01 ~]# ifconfig flannel.1 down
  5 [root@node01 ~]# ip link delete flannel.1
  6 [root@node01 ~]# rm -rf /var/lib/cni/

7.3 确认验证

  1 [root@k8smaster01 ~]# kubectl get nodes						#节点状态
  2 [root@k8smaster01 ~]# kubectl get cs						#组件状态
  3 [root@k8smaster01 ~]# kubectl get serviceaccount					#服务账户
  4 [root@k8smaster01 ~]# kubectl cluster-info						#集群信息
  5 [root@k8smaster01 ~]# kubectl get pod -n kube-system -o wide			#所有服务状态

提示：更多Kubetcl使用参考：https://kubernetes.iohttps://img.qb5200.com/download-x/docs/reference/kubectl/kubectl/

https://kubernetes.iohttps://img.qb5200.com/download-x/docs/reference/kubectl/overview/

更多kubeadm使用参考：https://kubernetes.iohttps://img.qb5200.com/download-x/docs/reference/setup-tools/kubeadm/kubeadm/

八开启IPVS

8.1 修改ConfigMap

  1 [root@k8smaster01 ~]# kubectl edit cm kube-proxy -n kube-system		#模式改为ipvs
  2 ……
  3 mode: "ipvs"
  4 ……
  5 [root@k8smaster01 ~]# kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'
  6 [root@k8smaster01 ~]# kubectl get pod -n kube-system | grep kube-proxy	#查看proxy的pod
  7 [root@k8smaster01 ~]# kubectl logs kube-proxy-2c8tj -n kube-system		#查看任意一个proxy pod的日志

九测试集群

9.1 创建测试service

  1 [root@k8smaster01 ~]# kubectl run nginx --replicas=2 --labels="run=load-balancer-example" --image=nginx --port=80
  2 [root@k8smaster01 ~]# kubectl expose deployment nginx --type=NodePort --name=example-service  #暴露端口
  3 [root@k8smaster01 ~]# kubectl get service							  #查看服务状态
  4 [root@k8smaster01 ~]# kubectl describe service example-service				  #查看信息

9.2 测试访问

  1 [root@k8smaster01 ~]# curl 10.97.91.153:80

  1 [root@k8smaster01 ~]# kubectl get pod -o wide		#查看endpoint

  1 [root@k8smaster01 ~]# curl 10.10.32.129:80		#访问endpoint，与访问服务ip结果相同
  2 [root@k8smaster01 ~]# curl 10.10.154.1:80

十部署dashboard

10.1 设置标签

  1 [root@k8smaster01 ~]# kubectl label nodes k8smaster01 app=kube-system
  2 [root@k8smaster01 ~]# kubectl label nodes k8smaster02 app=kube-system
  3 [root@k8smaster01 ~]# kubectl label nodes k8smaster03 app=kube-system

10.2 创建证书

由于自动生成的证书可能过期，建议手动生成证书，而取消yaml中自动创建secret的部分。

  1 [root@k8smaster01 ~]# cd /etc/kubernetes/pki/
  2 [root@k8smaster01 pki]# openssl genrsa -out dashboard.key 2048
  3 [root@k8smaster01 pki]# openssl req -new -out dashboard.csr -key dashboard.key -subj "/CN=dashboard"
  4 [root@k8smaster01 pki]# openssl x509 -req -sha256 -in dashboard.csr -out dashboard.crt -signkey dashboard.key -days 365
  5 [root@k8smaster01 pki]# openssl x509  -noout -text -in .https://img.qb5200.com/download-x/dashboard.crt		#查看证书
  6

10.3 分发证书

  1 [root@k8smaster01 pki]# scp dashboard.* root@k8smaster02:/etc/kubernetes/pki/
  2 [root@k8smaster01 pki]# scp dashboard.* root@k8smaster03:/etc/kubernetes/pki/
  3

10.4 手动创建secret

  1 [root@k8smaster01 ~]# ll /etc/kubernetes/pkihttps://img.qb5200.com/download-x/dashboard.*
  2 -rw-r--r-- 1 root root 1.2K Dec  3 03:10 /etc/kubernetes/pkihttps://img.qb5200.com/download-x/dashboard.crt
  3 -rw-r--r-- 1 root root  976 Dec  3 03:10 /etc/kubernetes/pkihttps://img.qb5200.com/download-x/dashboard.csr
  4 -rw-r--r-- 1 root root 1.7K Dec  3 03:09 /etc/kubernetes/pkihttps://img.qb5200.com/download-x/dashboard.key
  5 [root@k8smaster01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file="/etc/kubernetes/pkihttps://img.qb5200.com/download-x/dashboard.crt,/etc/kubernetes/pkihttps://img.qb5200.com/download-x/dashboard.key" -n kube-system	#挂载新证书到dashboard
  6 [root@master dashboard]# kubectl get secret kubernetes-dashboard-certs -n kube-system -o yaml	#查看新证书

10.5 部署dashboard

  1 [root@master01 ~]# vim /root/kubeadm-ha/addons/kubernetes-dashboard/kubernetes-dashboard.yaml 		#如下部分删除
  2 # ------------------- Dashboard Secret ------------------- #
  3 
  4 apiVersion: v1
  5 kind: Secret
  6 metadata:
  7   labels:
  8     k8s-app: kubernetes-dashboard
  9   name: kubernetes-dashboard-certs
 10   namespace: kube-system
 11 type: Opaque

  1 [root@k8smaster01 ~]# kubectl apply -f /root/kubeadm-ha/addons/kubernetes-dashboard/kubernetes-dashboard.yaml
  2 [root@k8smaster01 ~]# kubectl get deployment kubernetes-dashboard -n kube-system
  3 NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
  4 kubernetes-dashboard   1/1     1            1           10s
  5 [root@k8smaster01 ~]# kubectl get pods -o wide --namespace kube-system
  6 [root@k8smaster01 ~]# kubectl get services kubernetes-dashboard -n kube-system

提示：k8smaster01 NodePort 30000/TCP映射到 dashboard pod 443 端口。

10.6 查看dashboard参数

  1 [root@k8smaster01 ~]# kubectl exec --namespace kube-system -it kubernetes-dashboard-66cb8889-gjpnd -- https://img.qb5200.com/download-x/dashboard --help

提示：dashboard 的 --authentication-mode 支持 token、basic，默认为 token。如果使用 basic，则 kube-apiserver 必须配置 --authorization-mode=ABAC 和 --basic-auth-file 参数。

十一访问dashboard

11.1 导入证书

将dashboard.crt导入IE浏览器，并设置为信任，导入操作略。

11.2 创建kubeconfig文件

使用token相对复杂，可将token添加至kubeconfig文件中，使用KubeConfig 文件访问dashboard。

  1 [root@k8smaster01 ~]# ADMIN_SECRET=$(kubectl get secrets -n kube-system | grep admin-user-token- | awk '{print $1}')
  2 [root@k8smaster01 ~]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kube-system ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}')
  3 [root@k8smaster01 ~]# kubectl config set-cluster kubernetes \
  4   --certificate-authority=/etc/kubernetes/pki/ca.crt \
  5   --embed-certs=true \
  6   --server=172.24.8.100:16443 \
  7   --kubeconfig=dashboard.kubeconfig		        # 设置集群参数
  8 [root@k8smaster01 ~]# kubectl config set-credentials dashboard_user \
  9   --token=${DASHBOARD_LOGIN_TOKEN} \
 10   --kubeconfig=dashboard_admin.kubeconfig		# 设置客户端认证参数，使用上面创建的 Token
 11 [root@k8smaster01 ~]# kubectl config set-context default \
 12   --cluster=kubernetes \
 13   --user=dashboard_user \
 14   --kubeconfig=dashboard_admin.kubeconfig		# 设置上下文参数
 15 [root@k8smaster01 ~]# kubectl config use-context default --kubeconfig=dashboard_admin.kubeconfig  # 设置默认上下文

#将dashboard.kubeconfig文件导入，以便于浏览器使用该文件登录。

11.3 测试访问dashboard

本实验采用nodeip:nodepord方式访问。

浏览器访问：https://172.24.8.71:30000

使用dashboard_admin.kubeconfig文件访问：

提示：

更多dashboard访问方式及认证可参考《附004.Kubernetes Dashboard简介及使用》。

dashboard登录整个流程可参考：https://www.cnadn.net/post/2613.htm

提示：由于缺少 Heapster 插件，当前 dashboard 不能展示 Pod、Nodes 的 CPU、内存等统计数据和图表。

十二部署heapster

12.1	pull镜像

建议提前pull部署heapster所需镜像。

  1 [root@VPN ~]# docker pull k8s.gcr.io/heapster-influxdb-amd64:v1.5.2
  2 [root@VPN ~]# docker run -ti --rm --entrypoint "/bin/sh" k8s.gcr.io/heapster-influxdb-amd64:v1.5.2
  3 / # sed -i "s/localhost/127.0.0.1/g" /etc/config.toml	#容器内修改config
  4 [root@VPN ~]# docker ps				        #另开一个终端
  5 CONTAINER ID        IMAGE                                       COMMAND             CREATED             STATUS              PORTS               NAMES
  6 30b29cf20782        k8s.gcr.io/heapster-influxdb-amd64:v1.5.2   "/bin/sh"           5 minutes ago       Up 5 minutes                            elastic_brahmagupta
  7 [root@VPN ~]# docker commit elastic_brahmagupta k8s.gcr.io/heapster-influxdb-amd64:v1.5.2-fixed  #提交修改后的容器为镜像
  8 [root@VPN ~]# docker save -o heapster-influxdb-fixed.tar k8s.gcr.io/heapster-influxdb-amd64:v1.5.2-fixed

  1 [root@VPN ~]# docker pull k8s.gcr.io/heapster-amd64:v1.5.4
  2 [root@VPN ~]# docker save -o heapster.tar k8s.gcr.io/heapster-amd64:v1.5.4

  1 [root@k8smaster01 ~]# docker load -i heapster.tar
  2 [root@k8smaster01 ~]# docker load -i heapster-influxdb-fixed.tar

提示：所有Master节点都需要load如上镜像。

12.2 部署heapster

  1 [root@k8smaster01 ~]# kubectl apply -f /root/kubeadm-ha/addons/heapster/

12.3 确认验证

  1 [root@k8smaster01 ~]# kubectl top pods -n kube-system

再次浏览器访问：https://172.24.8.71:30000/

参考链接：
https://www.kubernetes.org.cn/4956.html

https://github.com/cookeem/kubeadm-ha

加载全部内容

附012.Kubeadm部署高可用Kubernetes

一 kubeadm介绍

1.1 概述

1.2 kubeadm功能

二 部署规划

2.1 节点规划

2.2 初始准备

2.3 互信配置

三 集群部署

3.1 Docker安装

3.2 相关组件包

3.3 正式安装

三 部署高可用组件I

3.1 Keepalived安装

3.2 创建配置文件

3.3 启动Keepalived

3.4 启动Nginx

四 初始化集群-Mater

4.1 Master上初始化

4.2 添加其他master节点

五 安装NIC插件

5.1 NIC插件介绍

5.2 部署calico

六 部署高可用组件II

6.1 高可用说明

七 添加Worker节点

7.1 下载镜像

7.2 添加Node节点

7.3 确认验证

八 开启IPVS

8.1 修改ConfigMap

九 测试集群

9.1 创建测试service

9.2 测试访问

十 部署dashboard

10.1 设置标签

10.2 创建证书

10.3 分发证书

10.4 手动创建secret

10.5 部署dashboard

10.6 查看dashboard参数

十一 访问dashboard

11.1 导入证书

11.2 创建kubeconfig文件

11.3 测试访问dashboard

十二 部署heapster

12.2 部署heapster

12.3 确认验证

二部署规划

三集群部署

三部署高可用组件I

四初始化集群-Mater

五安装NIC插件

六部署高可用组件II

七添加Worker节点

八开启IPVS

九测试集群

十部署dashboard

十一访问dashboard

十二部署heapster