一、Kubernetes简介
Kubernetes（简称K8S）是开源的容器集群管理系统，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。它既是一款容器编排工具，也是全新的基于容器技术的分布式架构领先方案。在Docker技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等功能，提高了大规模容器集群管理的便捷性。
K8S集群中有管理节点与工作节点两种类型。管理节点主要负责K8S集群管理，集群中各节点间的信息交互、任务调度，还负责容器、Pod、NameSpaces、PV等生命周期的管理。工作节点主要为容器和Pod提供计算资源，Pod及容器全部运行在工作节点上，工作节点通过kubelet服务与管理节点通信以管理容器的生命周期，并与集群其他节点进行通信。
二、K8s集群部署环境准备
1、环境架构
三台机器:一个主节点,2个工作节点
2、配置主机名
注：以下操作所有节点需要执行
# Master
hostnamectl set-hostname k8s-master --static
# Node1
hostnamectl set-hostname k8s-node1 --static
# Node2
hostnamectl set-hostname k8s-node2 --static2、继续配置hosts
cat >>/etc/hosts <<EOF
192.168.2.199 k8s-master
192.168.2.198 k8s-node2
192.168.2.197 k8s-node1
EOF3、关闭防火墙和selinux
systemctl stop firewalld.service
systemctl disable firewalld.service
setenforce 0
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config4、关闭swap分区
swapoff -a
sed -i '/swap/s/^/#/g' /etc/fstab5、配置内核参数和优化
cat >/etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
EOF
sysctl --system6、安装ipset、ipvsadm
yum -y install conntrack ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git
cat >/etc/modules-load.d/ipvs.conf <<EOF
# Load IPVS at boot
ip_vs
ip_vs_rr
ip_vs_wrr
ip_vs_sh
nf_conntrack
nf_conntrack_ipv4
EOF
systemctl enable --now systemd-modules-load.service确认内核模块加载成功
lsmod |egrep "ip_vs|nf_conntrack_ipv4"
7、安装Docker
1）安装依赖包
yum -y install yum-utils device-mapper-persistent-data lvm22）添加阿里Docker源
yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo3）安装Docker
yum -y install docker-ce-20.10.23 docker-ce-cli-20.10.234）添加阿里云docker仓库加速器
mkdir -p /etc/docker
cat >/etc/docker/daemon.json <<EOF
{
"registry-mirrors": [
# 镜像加速注意阿里云变更成自己账号的加速地址:类似-https://你的KEY.mirror.aliyuncs.com
"https://hub-mirror.c.163.com",
"https://cr.console.aliyun.com",
"https://reg-mirror.qiniu.com"
],
"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF5）开机自启动Docker
systemctl enable docker6）启动Docker
systemctl start docker8、安装Cri-Dockerd
1）安装wget
yum -y install wget2）下载安装包
wget -c https://github.com/Mirantis/cri-dockerd/releases/download/v0.3.1/cri-dockerd-0.3.1-3.el7.x86_64.rpm3）安装Cri-Dockerd
yum -y install cri-dockerd-0.3.1-3.el7.x86_64.rpm4）配置沙箱（pause）镜像
sed -i '/ExecStart/s#dockerd#& --network-plugin=cni --pod-infra-container-image=registry.aliyuncs.com/google_containers/pause:3.9#' /usr/lib/systemd/system/cri-docker.service5）启动Cri-Dockerd
systemctl enable cri-docker
systemctl start cri-docker三、安装kubectl、kubelet、kubeadm
1、添加阿里kubernetes源
[root@k8s-master ~]# cat >/etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF2、安装kubectl、kubelet、kubeadm
1）查看所有的可用版本
yum --showduplicates list kubelet |grep 1.28
kubelet.x86_64 1.28.0-0 kubernetes
kubelet.x86_64 1.28.1-0 kubernetes
kubelet.x86_64 1.28.2-0 kubernetes2）这里安装当前最新版本1.28.2
yum -y install kubectl-1.28.2 kubelet-1.28.2 kubeadm-1.28.23）启动kubelet
systemctl enable kubelet
systemctl start kubelet四、部署Kubernetes集群
1、初始化Kubernetes集群
1）查看k8s v1.28.2初始化所需要的镜像
kubeadm config images list --kubernetes-version=v1.28.2
registry.k8s.io/kube-apiserver:v1.28.2
registry.k8s.io/kube-controller-manager:v1.28.2
registry.k8s.io/kube-scheduler:v1.28.2
registry.k8s.io/kube-proxy:v1.28.2
registry.k8s.io/pause:3.9
registry.k8s.io/etcd:3.5.9-0
registry.k8s.io/coredns/coredns:v1.10.12）初始化K8s集群
kubeadm init --kubernetes-version=1.28.2 \
--apiserver-advertise-address=192.168.0.199 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=172.15.0.0/16 --pod-network-cidr=172.16.0.0/16 \
--cri-socket unix:///var/run/cri-dockerd.sock #设置cri注：pod的网段为: 172.16.0.0/16，api server地址为Master本机IP，网段可以自定义，不冲突即可。
这一步很关键，由于kubeadm 默认从官网k8s.grc.io下载所需镜像，国内无法访问，因此需要通过–image-repository指定阿里云镜像仓库地址。
2、根据提示创建kubectl
# 其他用户执行这个
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
# 管理员登录直接执行这个
export KUBECONFIG=/etc/kubernetes/admin.conf3、查看node节点和Pod
[root@k8s-master ~]# kubectl get node
[root@k8s-master ~]# kubectl get pod -A
注：Node节点为NotReady，因为corednspod没有启动，缺少网络pod
4、安装Pod网络插件calico（CNI）
kubectl apply -f https://docs.tigera.io/archive/v3.24/manifests/calico.yaml5、再次查看pod和node
[root@k8s-master ~]# kubectl get pod -A
[root@k8s-master ~]# kubectl get node
6、添加工作节点加入Kubernetes集群
kubeadm join 172.17.199.179:6443 --token hpouuq.fn0nf674szskkpmd \
--discovery-token-ca-cert-hash sha256:#### \
--cri-socket unix:///var/run/cri-dockerd.sock #这个要加上,不然会报错Found multiple CRI endpoints on the host.7、再次查看Node
kubectl get nodes
8、kubectl命令补全功能
yum -y install bash-completion
echo "source <(kubectl completion bash)" >> /etc/profile
source /etc/profile五、安装kubernetes-dashboard
注：官方部署dashboard的服务没使用nodeport，将yaml文件下载到本地，在service里添加nodeport。
1、下载配置文件
wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml2、修改配置文件
vim recommended.yaml需要修改的内容如下所示
kind: Service
apiVersion: v1
metadata:
labels:
k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kubernetes-dashboard
spec:
type: NodePort # 增加内容
ports:
- port: 443
targetPort: 8443
nodePort: 30000 # 增加内容
selector:
k8s-app: kubernetes-dashboard应用文件设置
kubectl apply -f recommended.yaml3、查看pod和service
kubectl get pod,svc -n kubernetes-dashboard
4、访问Dashboard页面
浏览器输入https://192.168.2.199:30000/,如下图所示
5、创建用户
vim dashboard-admin.yaml文件内容
apiVersion: v1
kind: ServiceAccount
metadata:
name: admin
namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
name: admin
roleRef:
apiGroup: rbac.authorization.k8s.io
kind: ClusterRole
name: cluster-admin
subjects:
- kind: ServiceAccount
name: admin
namespace: kubernetes-dashboard
---
apiVersion: v1
kind: Secret
metadata:
name: kubernetes-dashboard-admin
namespace: kubernetes-dashboard
annotations:
kubernetes.io/service-account.name: "admin"
type: kubernetes.io/service-account-token应用配置
kubectl apply -f dashboard-admin.yaml6、创建Token
kubectl -n kubernetes-dashboard create token admin7、获取Token
Token=$(kubectl -n kubernetes-dashboard get secret |awk '/kubernetes-dashboard-admin/ {print $1}')
kubectl describe secrets -n kubernetes-dashboard ${Token} |grep token |awk 'NR==NF {print $2}'8、使用Token登录Dashboard
注：登录后如果没有namespace可选，并且提示找不到资源，那么就是权限不足问题导致，可通过以下命令授权
kubectl create clusterrolebinding serviceaccount-cluster-admin --clusterrole=cluster-admin --user=system:serviceaccount:kubernetes-dashboard:kubernetes-dashboard