k8s介绍及安装教程
第一次看k8s,看了一会终于把一些简单概念懂了,然后开始安装,又遇到了一些麻烦。
刚开始学k8s的我:minikube是什么?kubeadm是什么?就不能一键yum install k8s
么?
为了解决这些问题,我写了一篇博客记录下来。本人也是初学者,以下内容可能有错误的,如果有问题欢迎在评论区指出,我也会及时的更新自己发现的错误。
前排提示:文章较长,我从一个完全不知道k8s到了解了相关的概念到运行第一个demo到写完这篇文章用了一整天时间,需要耐心一点一点看。
# 一些我自己的问题
# k8s与kubectl、kubeadm、kubelet的关系是什么?
kubelet:运行在Cluster所有节点上,负责启动Pod和容器。
kubeadm:用于初始化Cluster。
kubectl: 是Kubernetes命令行工具。通过kubectl可以部署和管理应用,查看各种资源,创建、删除和更新各种组件。
举一个也许不太恰当但可以帮助理解的例子:kubeadm是一个工人,他负责工作(启动Pod和容器);kubeadm是HR,负责告诉工人你是一个后台开发还是一个美工(是master还是slave),kubectl则是工人的上次,负责告诉工人你现在要把这个系统上线或者关闭(kubectl可以通过API查看各种资源,创建、删除和更新各种组件)。
# 安装是否要区分master和slave?
不区分。安装过程是一样的,都需要kubectl、kubeadm、kubelet三大组件,但是一些配置文件可能会不一样。
# minikube是什么?
像我刚刚说的那种工作模式,kubectl、kubeadm、kubelet三大组件像是一个完整的公司,而minikube就像一个小公司,他不区分master和slave节点,可以帮助新手更好的了解k8s的工作原理、工作模式以及相关概念,以及进行一些测试等,但不建议用于生产环境。
# 环境准备
在所有机器都要进行如下操作:
# 修改主机名
sudo vim /etc/hostname
主机修改成k8smaster
。其他的修改成k8snode1
、k8snode2
这样。
这里的目的是更加方便的看到节点。比如如果不改你看到的所有node都是localhost.localdomain,不知道谁是谁。
# 修改host文件
sudo vim /etc/hosts
添加类似于如下信息:
这里的目的也是更加方便。比如你想看能否ping通某个节点可以ping node1
,而不必输入ip。
# 关闭防火墙
firewall-cmd --state # 查看防火墙状态
systemctl stop firewalld # 停止防火墙的服务
systemctl disable firewalld # 禁止开机启动
2
3
4
5
# 关闭selinux
编辑文件,修改SELINUX的值为disable
sudo vim /etc/sysconfig/selinux
找到“SELINUX”这一行改成“SELINUX=disabled”。
# 关闭swap(k8s禁止虚拟内存以提高性能)
sudo swapoff -a && sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
# 时间同步
sudo yum install ntpdate -y
sudo ntpdate time.windows.com
2
3
我这里运行失败了,但这个应该是可选的。
# 配置yun源
- 给各个节点配置上阿里的Base源。
sudo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
- 下载docker-ce.repo:
cd /etc/yum.repos.d
sudo wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
2
- 手动添加kubernetes.repo
cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 添加网桥过滤和地址转发功能
使用sudo vim /etc/sysctl.d/kubernetes.conf
编辑文件,添加如下配置:
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
2
3
重新加载配置:sysctl -p
加载网桥过滤模块:sudo modprobe br_netfilter
查看网桥过滤模块是否加载成功:lsmod | grep br_netfilter
# 配置ipvs功能
sudo yum install ipset ipvsadm -y
cat <<EOF> /etc/sysconfig/modules/ipvs.modules
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
2
3
4
5
6
7
8
9
10
11
12
13
14
15
如果提示没有nf_conntrack_ipv4
,可能是系统版本的问题,可以尝试换成nf_conntrack
。
增加权限:sudo chmod +x /etc/sysconfig/modules/ipvs.modules
执行脚本:sudo /bin/bash /etc/sysconfig/modules/ipvs.modules
查看对应的模块是否加载成功:lsmod | grep -e -ip_vs -e nf_conntrack_ipv4
# 安装
# 安装docker
sudo yum install -y docker-ce docker-ce-cli containerd.io
如果怕太慢可自行换源,可以参考centos安装配置docker。
启动Docker服务并激活开机启动:
systemctl start docker
systemctl enable docker
2
# 安装k8s组件
sudo yum install -y kubelet kubeadm kubectl
配置kubelet的cgroup
sudo vim /etc/sysconfig/kubelet
添加如下配置
KUBELET_CGROUP_ARGS="--cgroup-driver=systemd"
KUBE_PROXY_MODE="ipvs"
2
设置kubelet开机自启
systemctl start kubelet
systemctl enable kubelet
2
# 启动
# 主节点
sudo kubeadm init --pod-network-cidr=10.244.0.0/16 --service-cidr=10.96.0.0/12
注意这个是内网使用的,如果工作节点要从外网访问,需要使用--apiserver-advertise-address=master公网ip
。
成功后记录下最后一句话:
然后运行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
2
3
4
5
创建网络flannel:
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
# 工作节点
运行刚刚记录下的很长的命令。
再回到master上,使用kubectl get nodes
,可以看到两个节点都Ready了。
如果一直在NotReady,可以使用kubectl describe node node名字
查看一下哪里的问题。
# 测试
新建一个pod.yaml
apiVersion: v1
kind: Pod
metadata:
name: k8s-tomcat
labels:
app: k8s
spec:
containers:
- name: k8s-tomcat
image: tomcat:mytomcat
ports:
- containerPort: 8080
2
3
4
5
6
7
8
9
10
11
12
13
创建一个svc.yaml
apiVersion: v1
kind: Service
metadata:
name: k8s-tomcat-svc
spec:
selector:
app: k8s
type: NodePort
ports:
- protocol: TCP
port: 8080
targetPort: 8080
2
3
4
5
6
7
8
9
10
11
12
13
使用 kubectl create -f pod.yaml
命令创建Pod。
使用kubectl create -f svc.yaml
创建服务,kubectl get svc
查看服务。
看到pod的status为running的时候,可以访问一下localhost:xxx,如果出现404界面或者tomcat主页则成功了。端口为上面服务中看到的端口。
# 错误解决
# [ERROR CRI]: container runtime is not running
解决方案:
sudo rm -rf /etc/containerd/config.toml
systemctl restart containerd
2
# ERROR FileContent--proc-sys-net-bridge-bridge-nf-call-iptables]: /proc/sys/net/bridge/bridge-nf-call-iptables does not exist
之前没有配置添加网桥过滤和地址转发功能。
使用
echo "1">/proc/sys/net/bridge/bridge-nf-call-iptables
echo "1">/proc/sys/net/bridge/bridge-nf-call-ip6tables
2
3
如果没有这个文件,则先用modprobe br_netfilte
命令。
# ERROR FileAvailable--etc-kubernetes-kubelet.conf]: /etc/kubernetes/kubelet.conf already exists
kubeadm reset -f
重置节点,如果不行直接强制删除对应的文件。
直接删除对应的文件。
sudo rm -rf /etc/kubernetes/pki/ca.crt
sudo rm -rf /etc/kubernetes/kubelet.conf
sudo rm -rf /etc/kubernetes/bootstrap-kubelet.conf
2
3
# 使用kubectl出现“Unable to connect to the server: x509: certificate signed by unknown authority”
后来也出现了一次“The connection to the server localhost:8080 was refused - did you specify the right host or port?“用这个方法也解决了,但是也有一次同样的问题没有解决。如果用这个方案解决不了可以再去搜一下。
rm -rf $HOME/.kube
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
2
3
4
# nodePort: Invalid value valid ports is 30000-32767
vim /etc/kubernetes/manifests/kube-apiserver.yaml
找到 --service-cluster-ip-range
这一行,在这一行的下一行增加如下内容
- --service-node-port-range=1-65535