Kubernetes 基础概念和集群部署

docker   k8s  

一、kubernetes特性

  • 服务发现和负载均衡

    kubernetes 可以使用DNS名称或者自己的IP公开容器,如果进入容器的流量很大,kubernetes 可以负载均衡并分配网络流量,从而使部署稳定。

  • 存储编排

    kubernetes 允许你自动挂载你选择的存储系统,例如本地存储,公有云提供商等

  • 自动部署和回滚

    你可以使用kubernetes 描述已经部署容器的所需状态,它可以以受控的速率将实际状态更改为期望状态。例如:你可以自动化kubernetes 来为你的部署创建新容器,删除现有容器并将他们所有资源用于新容器

  • 自动完成装箱计算

    kubernetes 允许你指定每个容器所需要(CPU)和内存(RAM)。当容器指定了资源请求时,kubernetes 可以做出更好的决策来管理容器的资源。

  • 自我修复

    kubernetes 重新启动失败的容器,替换容器,杀死不响应用户定义的运行状态检查的容器,并且在准备好服务之前不将其通告给客户端。

  • 密钥与配置管理

    kubernetes 允许你存储和管理敏感信息,例如:密码,OAuth 令牌和SSH密钥。 你可以在不重建容器镜像的情况下部署和更新密码和应用程序配置,也无需在堆栈中暴露密钥。

  • Kubernetes 为你提供了一个可弹性运行分布式系统的框架。 kubernetes 会满足你的扩展要求、故障转移、部署模式等。例如,kubernetes 可以轻松管理系统的Canary(金丝雀/灰度)部署

二、架构

  • 工作方式
Kubernetes Cluster = N Master Node + N Worker Node  
# N主节点+N工作节点; N>1
  • 组件架构
  • Master节点
Kubernetes Controller Manager(kube-controller-manager):k8s中所有资源对象的自动化控制中心,维护管理集群的状态,比如故障检测,自动扩展,滚动更新等。  
Kubernetes Scheduler(kube-scheduler): 负责资源调度,按照预定的调度策略将Pod调度到相应的机器上。  
etcd:保存整个集群的状态。  
  • node节点
kubelet:负责Pod对应的容器的创建、启停等任务,同时与Master密切协作,实现集群管理的基本功能  
kube-proxy:实现service的通信与负载均衡  
docker(Docker Engine):Docker引擎,负责本机的容器创建和管理  

三、kubeadm 创建集群

版本如下参考centos7安装docker

yum install -y docker-ce-20.10.7 docker-ce-cli-20.10.7  containerd.io-1.4.6  
  • 安装kubeadm(2C2G以上)
    • 设置防火墙放行,关闭Selinux
setenforce 0  
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

mkdir -p /etc/modules-load.d  
cat <<EOF |tee /etc/modules-load.d/k8s.conf  
br_netfilter  
EOF

cat <<EOF |tee /etc/sysctl.d/k8s.conf  
net.bridge.bridge-nf-call-iptables = 1  
net.bridge.bridge-nf-call-ip6tables = 1  
EOF  
sysctl --system  
  • 设置不同的hostname
k8s-master-001  
k8s-node-001  
k8s-node-002  
  • 内网互信
  • 永久关闭交换分区
sed -ri 's/.*swap.*/#&/' /etc/fstab  
  • 安装kubelet、kubeadm、kubectl
cat <<EOF | sudo tee /etc/yum.repos.d/kubernetes.repo  
[kubernetes]
name=Kubernetes  
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64  
enabled=1  
gpgcheck=0  
repo_gpgcheck=0  
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg  
   http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
exclude=kubelet kubeadm kubectl  
EOF


sudo yum install -y kubelet-1.20.9 kubeadm-1.20.9 kubectl-1.20.9 --disableexcludes=kubernetes

sudo systemctl enable --now kubelet  

kubelet 现在每隔几秒就会重启,因为它陷入了一个等待 kubeadm 指令的死循环

  • 使用kubeadm引导集群下载镜像
sudo tee ./images.sh <<-'EOF'  
#!/bin/bash
images=(  
kube-apiserver:v1.20.9  
kube-proxy:v1.20.9  
kube-controller-manager:v1.20.9  
kube-scheduler:v1.20.9  
coredns:1.7.0  
etcd:3.4.13-0  
pause:3.2  
)
for imageName in ${images[@]} ; do  
docker pull registry.cn-guangzhou.aliyuncs.com/leoiceo_k8s_images/$imageName  
done  
EOF

chmod +x ./images.sh && ./images.sh  
  • 初始化主节点
#所有机器添加master域名映射,以下需要修改为自己的
echo "10.3.100.66 k8s-master-001 cluster-endpoint  
10.3.100.67 k8s-node-001  
10.3.100.68 k8s-node-002" >> /etc/hosts

#主节点初始化
kubeadm init \  
--apiserver-advertise-address=10.3.100.66 \
--control-plane-endpoint=k8s-master-001 \
--image-repository registry.cn-guangzhou.aliyuncs.com/leoiceo_k8s_images \
--kubernetes-version v1.20.9 \
--service-cidr=10.96.0.0/16 \
--pod-network-cidr=192.168.88.0/16

###出现如下提示
Your Kubernetes control-plane has initialized successfully!

#要开始使用您的集群,您以普通用户身份需要运行以下命令:(设置.kube/config)

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

#或者,如果您是 root 用户,您可以运行:

  export KUBECONFIG=/etc/kubernetes/admin.conf

您现在应该将 pod 网络部署到集群。
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:  
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

# 可以通过以下命令增加master节点 (24小时内有效)

  kubeadm join cluster-endpoint:6443 --token skud4g.314dud5shes5ed8j \
    --discovery-token-ca-cert-hash sha256:c058080c1322afab578dc6804507cefed3bbd99c7104366458496f588a9a9048 \
    --control-plane 

# 可以通过以下命令增加node节点,在k8s-node-001和k8s-node-002中执行 (24小时内有效)

kubeadm join cluster-endpoint:6443 --token skud4g.314dud5shes5ed8j \  
    --discovery-token-ca-cert-hash sha256:c058080c1322afab578dc6804507cefed3bbd99c7104366458496f588a9a9048

# 过期后可以创建新令牌,在master节点运行
kubeadm token create --print-join-command  
kubeadm join cluster-endpoint:6443 --token cx4xmx.rngwmypbh6yg7w5d     --discovery-token-ca-cert-hash sha256:c058080c1322afab578dc6804507cefed3bbd99c7104366458496f588a9a9048  
wget https://docs.projectcalico.org/manifests/calico.yaml --no-check-certificate

# 由于本机使用了 192.168.0.0 所以修改网段 192.168.88.0/16,修改calico.yaml 如下两行
- name: CALICO_IPV4POOL_CIDR
              value: "192.168.88.0/16"

kubectl apply -f calico.yaml  
  • k8s常用命令
#查看集群所有节点
[root@k8s-master-001 ~]# kubectl get nodes
NAME             STATUS   ROLES                  AGE     VERSION  
k8s-master-001   Ready    control-plane,master   21m     v1.20.9  
k8s-node-001     Ready    <none>                 9m15s   v1.20.9  
k8s-node-002     Ready    <none>  
#根据配置文件,给集群创建资源
kubectl apply -f xxxx.yaml  (运行pod)  
kubectl delete-f xxxx.yaml   (删除pod)  
#查看集群部署了哪些应用?
docker ps   ===   kubectl get pods -A  
# 运行中的应用在docker里面叫容器,在k8s里面叫Pod (还可以加-w监控状态)
[root@k8s-master-001 ~]# kubectl get pods -A
NAMESPACE     NAME                                       READY   STATUS    RESTARTS   AGE  
kube-system   calico-kube-controllers-858c9597c8-frx25   1/1     Running   0          6m15s  
kube-system   calico-node-6sjwm                          1/1     Running   0          6m15s  
kube-system   calico-node-7zksg                          1/1     Running   0          6m15s  
kube-system   calico-node-95l49                          0/1     Running   0          2m37s  
kube-system   coredns-5897cd56c4-7m584                   1/1     Running   0          20m  
kube-system   coredns-5897cd56c4-87bbb                   1/1     Running   0          20m  
kube-system   etcd-k8s-master-001                        1/1     Running   0          21m  
kube-system   kube-apiserver-k8s-master-001              1/1     Running   0          21m  
kube-system   kube-controller-manager-k8s-master-001     1/1     Running   0          21m  
kube-system   kube-proxy-2b6m5                           1/1     Running   0          20m  
kube-system   kube-proxy-4whvq                           1/1     Running   0          9m3s  
kube-system   kube-proxy-hl7nx                           1/1     Running   0          2m37s  
kube-system   kube-scheduler-k8s-master-001              1/1     Running   0          21m  

四、部署k8s dashboard

kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.3.1/aio/deploy/recommended.yaml  
  • 设置访问端口
kubectl edit svc kubernetes-dashboard -n kubernetes-dashboard  

type: ClusterIP 改为 type: NodePort

[root@k8s-master-001 ~]# kubectl get svc -A |grep kubernetes-dashboard
kubernetes-dashboard   dashboard-metrics-scraper   ClusterIP   10.96.53.250   <none>        8000/TCP                 24m  
kubernetes-dashboard   kubernetes-dashboard        NodePort    10.96.44.99    <none>        443:31037/TCP  

本地可以访问任意集群IP https://k8s集群IP:31037/#/login

  • #创建访问账号,准备一个yaml文件;vi dash.yaml
apiVersion: v1  
kind: ServiceAccount  
metadata:  
  name: admin-user
  namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1  
kind: ClusterRoleBinding  
metadata:  
  name: admin-user
roleRef:  
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:  
- kind: ServiceAccount
  name: admin-user
  namespace: kubernetes-dashboard
  • 获取访问令牌
kubectl -n kubernetes-dashboard get secret $(kubectl -n kubernetes-dashboard get sa/admin-user -o jsonpath="{.secrets[0].name}") -o go-template="{{.data.token | base64decode}}"  
  • k8s通过此令牌登陆
eyJhbGciOiJSUzI1NiIsImtpZCI6IklzN3BTNG1zTnVKazZadmhCU0RtQ2JvOFJ4Nm5tcTBNUmE5MC02dnJpV3MifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi11c2VyLXRva2VuLThzcWxxIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZXJ2aWNlLWFjY291bnQubmFtZSI6ImFkbWluLXVzZXIiLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiJhYTYxMDQ5ZC0yZmYxLTQ0NjEtYTYyOC01ZmVlNTUwNjk0MDIiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6a3ViZXJuZXRlcy1kYXNoYm9hcmQ6YWRtaW4tdXNlciJ9.o1H1tcqlPw1Jb-0Ih39OmpEV2ox8_WzhcEsFPjj52i7GKqf1r8lWeUTv7jXmDcQFHIcuHIC2CXdA84yTUgVxSBcelR9ySO_F9bwqZMcIT0zqrX7Of4wrFvFjsRWfUDfkuZ9DHhjmt1uysV8bgOrWF381ZEFXhh5EjZQIy9fRNJpQ3viGdVZw62y0vmKNlSJWxqqIThoQuwPFCArQvvsEyW4EdYDLQ897lsReuHseDU4IN0M5oIeGw1L-oPwygi53fpl5pcuZBEFUhWN9ZCLfuQeM0JismDom-IAINvOT998dyKB0yNOPmijOspkIZBvoGu-PQJbIFHi3ATBz9ceJIg  
  • 登陆