Создание кластера

Материал из megapuper
Перейти к: навигация, поиск

Создание Kubernetes-кластера на Debian 11


В кластере будет три хоста 

kuber-master01  192.168.150.60
kuber-node01    192.168.150.61
kuber-node02    192.168.150.62


Пропишем на всех хостах должна быть запись в /etc/hosts 

127.0.0.1   localhost


Устанавливаем Docker 

curl -fsSL https://download.docker.com/linux/debian/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/debian $(lsb_release -cs) stable" | sudo 
tee /etc/apt/sources.list.d/docker.list > /dev/null
apt update
apt install docker-ce docker-ce-cli containerd.io


Поправим конфиг caontainerd, иначе не взлетит(можно нагуглить, что-то поменяли в Debian 11 в плане SystemCgroup) 

containerd config default | sudo tee /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml
service containerd restart


Изменяем cgroup driver для Docker на systemd: 

nano /etc/docker/daemon.json
    {
        "exec-opts": ["native.cgroupdriver=systemd"]
    }


Устанавливаем Kubernetes 

mkdir -p /etc/apt/keyrings/
curl -fsSLo /etc/apt/keyrings/kubernetes-archive-keyring.gpg https://packages.cloud.google.com/apt/doc/apt-key.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
apt update
apt install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl
mkdir /root/.kube


Изменяем cgroup driver Kubernetes на systemd: 

/etc/systemd/system/kubelet.service.d/10-kubeadm.conf(добавим в конец строки параметр --cgroup-driver)
    ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS --cgroup-driver=systemd


Чтобы использовать статический IP адрес добавим параметр --node-ip в конец строки 

/etc/systemd/system/kubelet.service.d/10-kubeadm.conf
    ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS --cgroup-driver=systemd --node-ip=192.168.150.60


Автоматическое дополнение в shell 

kubectl completion bash > ~/.kube/completion.bash.inc
printf "\n# Kubectl shell completion\nsource '$HOME/.kube/completion.bash.inc'\n" >> $HOME/.bashrc
source $HOME/.bashrc

Ребутимся для проверки, что всё взлетит


Инициализируем master узел(перенаправим вывод в файл) 

kubeadm init --v=5 --apiserver-advertise-address=192.168.150.60 --pod-network-cidr=20.20.0.0/16 > ~/.kube/kubeadm-join.sh


В полученном файле kubeadm-join.sh, внизу, будет команда для подключения нод к кластеру. Выполняем на нодах кластера 

kubeadm join 192.168.150.60:6443 --v=5 --token od2m0g.uem7qt3f24tc3zlo --discovery-token-ca-cert-hash sha256:a506eeab120c4d623cbb5bc69ca89e06df98e1297cdcee8e3c8233b4edbf38e5


Время жизни токена ограничено 24 часами. Поэтому если между развёртыванием первого master-узла и worker-узла пройдёт более 24 часов, надо повторно сгенерировать этот токен на мастере. 

kubeadm token create --print-join-command


Раскидываем конфиг на все ноды 

cp /etc/kubernetes/admin.conf /root/.kube/config
scp /root/.kube/config root@192.168.150.6X:/root/.kube/


Проверяем статус нод, все NotReady 

kubectl get nodes -o wide

Смотрим список подов(-A во всех неймспейсах). Видим, что некоторые Pending 

kubectl get pods -A


Чтобы всё пришло в нормальный вид, ставим сетевой плагин для сетевого взаимодействия между контейнерами, в данном случае flannel 

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

открываем файл и находим там следующий кусок:
  net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "vxlan"
      }
    }

Прописываем там свою сеть 20.20.0.0/16

Применяем 

kubectl apply -f kube-flannel.yml


настроим haproxy на случай выхода из строя одного мастера(если их больше одного) 

frontend k8s-api
	bind ${thisIP}:6443
	bind 127.0.0.1:6443
	mode tcp
	option tcplog
	default_backend k8s-api

backend k8s-api
	mode tcp
	option tcplog
	option tcp-check
	balance roundrobin
	default-server port 6443 inter 10s downinter 5s rise 2 fall 2 slowstart 60s maxconn 250 maxqueue 256 weight 100
       server apiserver1 master01:6443 check
       server apiserver2 master02:6443 check
       server apiserver3 master03:6443 check


Установим web-консоль K8S 

https://github.com/kubernetes/dashboard/blob/master/docs/user/access-control/creating-sample-user.md


На мастере качаем файлик для настройки ресурсов UI 

wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.7.0/aio/deploy/recommended.yaml


Настроим ресурс Service. Добавляем type: NodePort и указываем любой порт nodePort в диапазоне 30000-32767. 

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30555
  selector:
    k8s-app: kubernetes-dashboard

Применяем 

kubectl apply -f recommended.yaml


Проверяем что создалась служба(Service) с типом NodePort 

kubectl get svc -n kubernetes-dashboard


Смотрим на какой ноде развернулся pod для UI 

kubectl get pods -o wide -n kubernetes-dashboard

Заходим в браузер и проверяем https://192.168.150.X:30555


Создаём админскую учётку admin-user.yaml 

apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin-user
  namespace: kubernetes-dashboard
---
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRoleBinding
metadata:
  name: admin-user
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: ClusterRole
  name: cluster-admin
subjects:
- kind: ServiceAccount
  name: admin-user
  namespace: kubernetes-dashboard

Применяем 

kubectl apply -f admin-user.yaml


На мастере создаём токен с помощью которого логинимся в UI, копируем его и заходим в админку 

kubectl -n kubernetes-dashboard create token admin-user


Всяческие ошибки 

Err: connection error: desc = "transport: Error while dialing dial tcp 127.0.0.1:2379: connect: connection refused
https://stackoverflow.com/questions/55571566/unable-to-bring-up-kubernetes-api-server

containerd config default | tee /etc/containerd/config.toml
sed -i 's/SystemdCgroup = false/SystemdCgroup = true/g' /etc/containerd/config.toml
service containerd restart
service kubelet restart



[ERROR CRI]: container runtime is not running: output: time="2023-03-11T00:17:03+03:00" level=fatal msg="validate service connection: CRI v1 runtime API is not implemented for 
endpoint \"unix:///var/run/containerd/containerd.sock\": rpc error: code = Unimplemented desc = unknown service runtime.v1.RuntimeService"

mv /etc/containerd/config.toml /etc/containerd/config.toml.bk
systemctl restart containerd
Источник — «http://megapuper.ru/index.php?title=Создание_кластера&oldid=159733»