简介

kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单并且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。

环境

在开始之前，先简单介绍一下环境以及配置。这里使用的是vmware创建的虚拟机。

kubernetes的服务器必须是2核4G以上配置才可以安装的

当然，如果你想是一个Kubernetes集群，则node节点给是相同的配置即可，例如：

Centos7的镜像用的是阿里源下载的。使用的是CentOS-7-x86_64-Minimal-2003镜像。

Centos7系统的安装过程就不给出了，自行下一步下一步即可

Kubernets安装

这里要说明一点，Kubernetes需要的资源较多，如果配置跟不上或者只是学习体验，只有一个master，没有node节点是可以正常使用的。master默认是不允许被pod调度，只要设置污点为允许即可。这个在文章后面会讲如何设置。

系统初始化

以下操作对3个节点都是相同的噢~

网络配置

master

BOOTPROTO=static
IPADDR=192.168.1.200
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
DNS1=192.168.1.1
DNS2=114.114.114.114
ONBOOT=yes

node01

BOOTPROTO=static
IPADDR=192.168.1.211
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
DNS1=192.168.1.1
DNS2=114.114.114.114
ONBOOT=yes

node02

BOOTPROTO=static
IPADDR=192.168.1.212
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
DNS1=192.168.1.1
DNS2=114.114.114.114
ONBOOT=yes

设置系统主机名以及 Host 文件的相互解析

设置系统主机名

# master上执行
hostnamectl set-hostname k8s-master

# node01上执行
hostnamectl set-hostname k8s-node01

# node02上执行
hostnamectl set-hostname k8s-node02

修改hosts文件

192.168.1.200 k8s-master
192.168.1.211 k8s-node01
192.168.1.212 k8s-node02

安装依赖包

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git lrzsz

设置防火墙为 Iptables

systemctl stop firewalld && systemctl disable firewalld

yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && service iptables save

关闭 SELINUX

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

调整内核参数，对于 K8S

cat > kubernetes.conf <<EOF
net.bridge.bridge-nf-call-iptables=1
net.bridge.bridge-nf-call-ip6tables=1
net.ipv4.ip_forward=1
net.ipv4.tcp_tw_recycle=0
vm.swappiness=0 # 禁止使用 swap 空间，只有当系统 OOM 时才允许使用它
vm.overcommit_memory=1 # 不检查物理内存是否够用
vm.panic_on_oom=0 # 开启 OOM
fs.inotify.max_user_instances=8192
fs.inotify.max_user_watches=1048576
fs.file-max=52706963
fs.nr_open=52706963
net.ipv6.conf.all.disable_ipv6=1
net.netfilter.nf_conntrack_max=2310720
EOF

cp kubernetes.conf /etc/sysctl.d/kubernetes.conf

sysctl -p /etc/sysctl.d/kubernetes.conf

调整系统时区

# 设置系统时区为 中国/上海
timedatectl set-timezone Asia/Shanghai
# 将当前的 UTC 时间写入硬件时钟
timedatectl set-local-rtc 0
# 重启依赖于系统时间的服务
systemctl restart rsyslog
systemctl restart crond

关闭系统不需要服务

systemctl stop postfix && systemctl disable postfix

设置 rsyslogd 和 systemd journald

mkdir /var/log/journal 
# 持久化保存日志的目录

mkdir /etc/systemd/journald.conf.d

cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal]
# 持久化保存到磁盘
Storage=persistent
# 压缩历史日志
Compress=yes
SyncIntervalSec=5m
RateLimitInterval=30s
RateLimitBurst=1000
# 最大占用空间 10G
SystemMaxUse=10G
# 单日志文件最大 200M
SystemMaxFileSize=200M
# 日志保存时间 2 周
MaxRetentionSec=2week
# 不将日志转发到 syslog
ForwardToSyslog=no
EOF

systemctl restart systemd-journald

升级系统内核为 4.44

CentOS 7.x 系统自带的 3.10.x 内核存在一些 Bugs，导致运行的 Docker、Kubernetes 不稳定，例如rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm
# 安装完成后检查 /boot/grub2/grub.cfg 中对应内核 menuentry 中是否包含 initrd16 配置，如果没有，再安装
一次！

yum --enablerepo=elrepo-kernel install -y kernel-lt

# 设置开机从新内核启动
grub2-set-default 'CentOS Linux (4.4.202-1.el7.elrepo.x86_64) 7 (Core)'

# 重启
reboot

# 检查是否安装新内核成功
uname -r

注意，内核会随着时间升级的，我写这篇文章的时候，内核版本是 4.4.202 ，这并不意味着你做的时候还是这个内核版本，如果变动了，请自行修改上面的命令即可。

安装Kubeadm

以下操作对3个节点依旧都是相同的噢~

kube-proxy开启ipvs的前置条件

modprobe br_netfilter

cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4

安装 Docker 软件

yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum update -y && yum install -y docker-ce
## 创建 /etc/docker 目录

grub2-set-default 'CentOS Linux (4.4.202-1.el7.elrepo.x86_64) 7 (Core)' && reboot
# 重新设置内核


systemctl restart docker && systemctl enable docker
# 设置开机自动

mkdir /etc/docker
# 配置 daemon.

cat > /etc/docker/daemon.json <<EOF
{
    "exec-opts": ["native.cgroupdriver=systemd"],
    "log-driver": "json-file",
    "log-opts": {
    "max-size": "100m"
    }
}
EOF

mkdir -p /etc/systemd/system/docker.service.d

# 重启docker服务
systemctl daemon-reload && systemctl restart docker 

daemon.json文件里也可以配置你的镜像加速器地址噢~

安装 Kubeadm （主从配置）

使用该工具来快速部署kubernets

cat > /etc/yum.repos.d/kubernetes.repo <<EOF 
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

yum install -y kubelet-1.18.4 kubeadm-1.18.4 kubectl-1.18.4

systemctl enable kubelet.service

注意，kubelet、kubeadm、kubectl也是会随着时间升级的，我写的时候是18.04是最新的，如果到时候执行报错了，请自行安装最新版本即可。

初始化节点

初始化主节点

只要操作master节点即可噢~

kubeadm config print init-defaults > kubeadm-config.yaml

# 修改(以及新增)kubeadm-config.yaml以下内容
localAPIEndpoint:
  advertiseAddress: 192.168.1.200
kubernetesVersion: v1.18.4
networking:
  podSubnet: 10.244.0.0/16
  serviceSubnet: 10.96.0.0/12

# 打开kubeadm-config.yaml并在最后新增以下内容
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
featureGates:
  SupportIPVSProxyMode: true
mode: ipvs

下载初始化必备镜像

因为Kubernetes所需要的初始化必备镜像都是从谷歌官方拉取的，不会走docker的加速镜像服务器。由于谷歌被墙，所以我们需要自行下载必备镜像，怎么做呢？

首先列出使用的镜像以及版本号

kubeadm config images list --config kubeadm-config.yaml

接着，我们通过国内的第三方镜像仓库下载完毕后再更改镜像名称与谷歌的镜像名称一致即可

我们编写一个shell脚本

#!/bin/bash

images=(
    kube-apiserver:v1.18.4
    kube-controller-manager:v1.18.4
    kube-scheduler:v1.18.4
    kube-proxy:v1.18.4
    pause:3.2
    etcd:3.4.3-0
    coredns:1.6.7
)

for imageName in ${images[@]} ; do
    docker pull mirrorgcrio/$imageName
    docker tag mirrorgcrio/$imageName k8s.gcr.io/$imageName
    docker rmi mirrorgcrio/$imageName
done

当然这里用什么版本，是由Kubeadm的版本节点的。通过上方的列出使用的镜像以及版本号我们可以很清楚的知道要下什么版本，下哪些的镜像了。

然后我们执行脚本，开始下载镜像(注意哦，这个下载镜像，2个node节点也要做的)

# 给予执行权限
chmod +x docker-download.sh

# 初始化,并且将标准输出同时写入至kubeadm-init.log文件
kubeadm init --config=kubeadm-config.yaml | tee kubeadm-init.log

完毕后，控制台输出的日志会告诉我们继续执行什么指令以及node节点如何加入

执行日志中的指令

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

整理文件

因为初始化的日志很有用，里面包含了子节点如何加入master的，所以我们把这些文件保存起来

mkdir -p /usr/local/install-k8s/core

# 将重要文件移入core 
mv kubeadm-init.log kubeadm-config.yaml /usr/local/install-k8s/core

部署网络

只要操作master节点即可噢~

现在我们执行kubectl相关指令已经会有了正常响应，但是此时节点处于NotReady的状态，这是因为我们还没有为Kubernetes指定它的网络模式。我们使用flannel来作为它的网络模式，这样就可以让不同节点上的容器跨主机通信。如果对这块感兴趣，可以自行搜索flannel的网络实现。

现在我们开始安装flannel

# 创建文件夹
mkdir -p /usr/local/install-k8s/plugin/flannel

# 进入flannel文件夹
cd /usr/local/install-k8s/plugin/flannel

# 下载flannel配置文件
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

# 安装flannel
kubectl create -f kube-flannel.yml

常用命令

# 查看命名空间为kube-system的pod情况
kubectl get pod -n kube-system

# 查看更详细的信息
kubectl get pod -n kube-system -o wide

# 查看k8s所有节点连接情况
kubectl get node

加入子节点

根据kubeadm-init.log日志文件内容或者安装的时候的标准输出,在node节点执行指令

kubeadm join 192.168.1.200:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:7c2677754a3b09da10d5ffa6a7d6348ad63219cd69d2f5c3a27642d4b95ff15b

即可将node节点加入master

设置master节点是否可以被任务调度安装pod

如果你只有一个master没有node节点，或者你想master也参与pod的调度，那么可以执行如下指令

# 允许
kubectl taint node k8s-master node-role.kubernetes.io/master-

# 不允许
kubectl taint node k8s-master node-role.kubernetes.io/master=""

安装Dashboard

# 获取资源清单
wget  https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta4/aio/deploy/recommended.yaml

# 修改recommended.yaml里的端口,外网开放
---

kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  type: NodePort      #新增type类型为NodePort
  ports:
    - port: 443
      targetPort: 8443
      nodePort: 30002   #设置nodeport 端口
  selector:
    k8s-app: kubernetes-dashboard

---

# 根据资源清单创建dashboard
kubectl apply -f recommended.yaml

# 如果处于running状态，要在看一下他的log日志
kubectl logs  -f  kubernetes-dashboard-cdbc9547c-7sb2n -n kubernetes-dashboard
kubectl logs  -f  dashboard-metrics-scraper-fb986f88d-nd9d6  -n kubernetes-dashboard

创建管理员账户登录dashboard

# 创建admin账户
kubectl create serviceaccount admin

# 绑定组
kubectl create clusterrolebinding dash-admin --clusterrole=cluster-admin --serviceaccount=default:admin

# 创建密钥
secret=$(kubectl get sa admin -o jsonpath='{.secrets[0].name}')

# 获得token
kubectl get secret $secret -o go-template='{{ .data.token | base64decode }}'

登陆Dashboard

然后我们输入

kubectl get pod -n kubernetes-dashboard -o wide

查看此时dashboard所在的服务器节点。通过 http://所在服务器IP:nodePort 进行访问。输入之前获取的token，即可正常进入。

从阿里云下载私有镜像

登陆认证阿里云

docker login --username=xxx registry.cn-shenzhen.aliyuncs.com

xxx是你的阿里云登录名，例如我的是 guaosi@vip.qq.com

在集群中创建保存授权令牌的 Secret

# 创建 Secret，命名为 regcred：
kubectl create secret docker-registry regcred --docker-server=<your-registry-server> --docker-username=<your-name> --docker-password=<your-pword> --docker-email=<your-email> -n <your-namespace>

# <your-registry-server> 是你的私有 Docker 仓库全限定域名（FQDN）
# <your-name> 是你的 Docker 用户名。
# <your-pword> 是你的 Docker 密码。
# <your-email> 是你的 Docker 邮箱。
# <your-namespace> 创建后的该密钥属于k8s集群中哪一个namespace的

在pod清单中加入使用密钥

apiVersion: v1
kind: Pod
metadata:
    namespace: <your-namespace>
  name: private-reg
spec:
  containers:
  - name: private-reg-container
    image: <your-private-image>
  imagePullSecrets: # 使用指定的密钥
  - name: regcred # 与上面创建的secret名称相同