totoliNote

소개

쿠버네티스는 마스터 노드에 내부적으로 API-SERVER를 가지고 있어 마스터 노드를 통해 워커 노드로 통신이 전달됩니다. 대량에 통신량이 발생하게 되면 마스터 노드는 부하를 많이 받아 장애 발생 가능성이 커지게 됩니다. 마스터 노드를 고가용성 클러스터로 연결하게 되면 통신량을 분산시킬 수 있고, 일부가 마스터 노드에서 장애가 발생시 워커 노드의 운영 시스템에는 영향을 줄일 수 있습니다.

구성 환경

아래 사양으로 총 3대 서버를 준비합니다.

OS: CentOS 7
CPU: 2
RAM: 4
Storage: 100G

구성목표

마스터 노드 3개를 클러스터구성
가상 네트워크(weave) 적용
ceph storage 적용

도커&쿠버네티스 설치

CentOS 패키지 업데이트와 방화벽을 정지 및 스왑을 종료합니다.

$ sudo yum update -y
$ sudo systemctl disable firewalld && sudo systemctl stop firewalld
$ sudo selinux disabled
$ sudo setenforce 0
$ sudo iptables piv4 forward
$ sudosudo bash -c 'echo 1 > /proc/sys/net/ipv4/ip_forward'
$ sudo swapoff -a
$ sudo sed -i '/swap/d' /etc/fstab

운영 환경에서는 아래 포트를 오픈하여 진행합니다.

노드	포트	TCP/UDP
마스터	6443, 2379-2380, 10250, 10251, 10252	TCP
마스터, 워커	6783	TCP
마스터, 워커	6783, 6784	UDP
워커	10250, 30000-32767	TCP
로드 밸런서	26443	TCP

호스트네임 설정

호스트네임은 서로 다르게 지정해야합니다.

$ sudo hostnamectl set-hostname node1

$ sudo hostnamectl set-hostname node2

$ sudo hostnamectl set-hostname node3

도커 설치

도커 레파지토리를 등록하여 yum 으로 설치 합니다.

$ sudo yum install -y yum-utils \
    device-mapper-persistent-data \
    lvm2

$ sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

$ sudo yum install docker-ce docker-ce-cli containerd.io

$ sudo systemctl start docker

설치 후 daemon.json을 추가하여 cgroupdriver를 systemd 옵션으로 사용할 수 있도록 합니다.

$ sudo cat <<EOF > /etc/docker/daemon.json
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF

$ sudo systemctl daemon-reload
$ sudo systemctl enable docker
$ sudo systemctl restart docker

쿠버네티스 설치

쿠버네티스의 레파지토리 저장소를 등록하여 yum 으로 kubelet, kubeadm, kubectl을 설치합니다.

kubeadm: 클러스터 관련 작업시 사용됩니다.
kubectl: 클러스터의 서비스 및 pod 관리시 사용됩니다.
kubelet: 클러스터 에이전트역할을 합니다.

$ sudo cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg [https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg](https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg)
EOF

$ sudo yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

$ sudo systemctl enable kubelet
$ sudo systemctl restart kubelet

node1, node2, node3에 도커와 쿠버네티스가 설치를 하였다면 아래 명령어를 통해 확인해볼 수 있습니다.

$ sudo docker verison
$ kubectl version

로드밸런서 설치

공식문서에서 사용되고 있는 HAProxy를 사용하도록 하겠습니다.
테스트환경이기 때문에 keepalive및 failover 기능없이 진행하도록 하겠습니다.

노드1에만 haproxy 를 설치하도록 하겠습니다.

$ sudo yum install haproxy -y

haproxy 로드밸런싱 설정

node1 IP의 26443포트로 전달받은 데이터를 node1 ~ node3의 6443 포트로 포워드 시켜줍니다.
라운드로빈으로 순차적으로 접근하도록 하겠습니다.

$ sudo cat <<EOF >> /etc/haproxy/haproxy.cfg
frontend kubernetes-master-lb
bind 0.0.0.0:26443
option tcplog
mode tcp
default_backend kubernetes-master-nodes

backend kubernetes-master-nodes
mode tcp
balance roundrobin
option tcp-check
option tcplog
server node1 <node1 IP>:6443 check
server node2 <node2 IP>:6443 check
server node3 <node3 IP>:6443 check
EOF

$ sudo systemctl restart haproxy

haproxy 확인

해당 포트가 오픈되어 있는지 확인합니다.
포트가 오픈되어 있어도 접근이 안될때는 방화벽을 확인해야 합니다.

netstat -an|grep 26443

클러스터 생성

클러스터 생성할때 –upload-certs, –control-plane-endpoint 플래그를 추가해야 인증서가 자동 배포되고, 마스터 노드 조인 명령어가 출력됩니다.

$ sudo kubeadm init --control-plane-endpoint "<노드1 DNS/IP or LoadBalancer DNS/IP>:26443" \
                --upload-certs \
                --pod-network-cidr "10.244.0.0/16"

config 생성

kubectl 사용하기 위해서는 사용자 디렉토리 하위에 .kube/config 가 필요합니다. kubeadm init 명령어를 진행하고 마지막에 로그를 잘보면 config를 생성하는 명령어가 적혀있습니다.

$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

클러스터 연결

노드1에서 클러스터 생성시 kubeadm join 명령어가 출력되는데 –control-plane –certificate-key 플래그 포함하여 명령어를 실행하면 마스터 노드로 연결이 되고, 플래그는 추가하지 않고 사용하게 되면 워커노드로 연결됩니다.

노드2 클러스터 연결

$ sudo kubeadm join 192.168.248.251:26443 --token 06glbc.s0yaqonyajs95ez3 \
    --discovery-token-ca-cert-hash sha256:379ff0daa2cffa3f6581ae25c96aa3d6e4a9af43df92b8d0ac5a4dbb4c7e5547 \
    --control-plane --certificate-key 8eb7fa9a38ca1579c3fb61e0a1106935c4e9dfd81cbad259121f223f0adf555f

config 생성

노드2의 사용자에서도 kubectl 명령어를 사용하기 위해선 config를 생성해야 합니다.

$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

노드3 클러스터 연결

노드3에서도 노드2와 동일하게 연결을 진행합니다.

$ sudo kubeadm join 192.168.248.251:26443 --token 06glbc.s0yaqonyajs95ez3 \
    --discovery-token-ca-cert-hash sha256:379ff0daa2cffa3f6581ae25c96aa3d6e4a9af43df92b8d0ac5a4dbb4c7e5547 \
    --control-plane --certificate-key 8eb7fa9a38ca1579c3fb61e0a1106935c4e9dfd81cbad259121f223f0adf555f

config 생성

노드3에서도 동일하게 config를 생성해야합니다.

$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

클러스터 구성 확인

노드가 연결이 되었다면 아래 명령어를 실행시 노드가 전부 보여야합니다.

$ kubectl get node

마스터 노드에는 기본설정으로 pod 배포가 안됩니다. taint명령어를 통해 pod 배포가 가능하도록 하겠습니다.

$ kubectl taint nodes --all node-role.kubernetes.io/master-

가상 네트워크(weave) 적용

Calico, Canal, Clilum, Flannel, weave 등 다양한 가상네트워크가 있지만 공식문서에서 제공하는 weave를 적용하도록 하겠습니다.

$ kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"

가상네트워크 적용 확인

최초 클러스터를 진행하게 되면 노드의 상태는 NotReady 입니다. 가상네트워크를 적용하게 되면 약 1 ~ 3분 소요되고 Ready 상태로 변경되게 됩니다. 이것으로 가상네트워크 적용이 완료 되었습니다.

$ kubectl get node

nginx 배포 해보기

nginx pod 3개를 배포하는 명령어입니다.

kubectl run --image=nginx --port 80 --replicas=3 nginx-app

아래 명령어를 통해 nginx-app 배포된 노드를 보면 node1 ~ 3 골고루 배포되어 있는걸 확인할 수 있습니다.

kubectl get pod -o wide

정리

이번에 쿠버네티스 고가용성 클러스터를 서버에 구축해보았습니다. 쿠버네티스 버전 1.6 이후 부터는 인증서배포 자동화, 클러스터 연결하는 방법이 간편하게 변경되었습니다. 이전 버전에서는 클러스터 구성하기위해선 복잡한 과정과 설정파일을 만들어야 했지만 이제는 간단하게 명령어 한줄만 입력하면 클러스터에 연결/해지를 하도록 변경되었습니다. 자유로운 노드 할당은 자원 낭비없이 효율적으로 관리하는데 장점이 될 것으로 보여집니다.

참고문서

kubernetes.io

서버 유형	서버 호스트 이름	명세서
주인	k8s-master01.computingforgeeks.com	4GB 램, 2vcpus
노동자	k8s-worker01.computingforgeeks.com	4GB 램, 2vcpus
노동자	k8s-worker02.computingforgeeks.com	4GB 램, 2vcpus

실행 시간	Unix 도메인 소켓 경로
도커	`/var/run/docker.sock`
용기에 담긴	`/run/containerd/containerd.sock`
만들기	`/var/run/crio/crio.sock`

	FROM mcpayment/ubuntu1404-java8
	MAINTAINER mail@jungbin.kim

	# repository index 업데이트
	RUN apt-get -y -qq update

	RUN wget -qO – https://artifacts.elastic.co/GPG-KEY-elasticsearch \| apt-key add –

	# Installing from the APT repository
	RUN apt-get -y -qq install apt-transport-https
	RUN echo “deb https://artifacts.elastic.co/packages/5.x/apt stable main” \| tee -a /etc/apt/sources.list.d/elastic-5.x.list
	RUN apt-get -y -qq update && \
	apt-get -y -qq install elasticsearch

	# Install x-pack & Set super user(as admin)
	WORKDIR /usr/share/elasticsearch
	RUN bin/elasticsearch-plugin install x-pack –batch && \
	bin/x-pack/users useradd admin_user -p testPassword -r superuser

	# config 파일 소스
	COPY elasticsearch.yml /etc/elasticsearch/
	COPY roles.yml /etc/elasticsearch/x-pack/

	# 나중에 내부 테스트를 위함
	# curl 설치
	RUN apt-get -y -qq install curl
	# vi option 추가
	RUN echo “set autoindent \nset number \nset bs=2 \nset nocp” >> ~/.exrc

	# 도커 컨테이너가 실행되었을 때 요청을 기다리고 있는(Listen) 포트를 지정
	EXPOSE 9200

	# 도커 컨테이너가 실행되었을 때 실행되는 명령어를 정의
	CMD service elasticsearch start && bash

	# Set the bind address to a specific IP (IPv4 or IPv6):
	# 192.168.1.10 과 같은 ip에 접근하기 위함
	network.host: 0.0.0.0

	# create an anoynomous user to allow interaction without auth
	xpack.security.authc:
	# 임의의 유저(유저 이름 anonymous)에 viewer라는 role을 줌.
	# (x-pack/roles.yml에서 viewer는 read만 가능하게 설정)
	# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/security-settings.html#anonymous-access-settings
	anonymous:
	username: anonymous
	roles: viewer
	# Disable default user ‘elastic’
	# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/security-settings.html#password-security-settings
	accept_default_password: false

	# The default roles file is empty as the preferred method of defining roles is
	# through the API/UI. File based roles are useful in error scenarios when the
	# API based roles may not be available.

	viewer:
	run_as: [ ‘anonymous’ ] # 적용될 유저 이름 여기서는 인증 받지 않은 임의의 유저
	cluster: [ “monitor” ] # 적용될 cluster들
	indices:
	– names: [ ‘*’ ] # 허용 index를 패턴을 포함하여 정의 한다.
	privileges: [ ‘read’ ] # 권한은 read만 부여한다.
	query: ‘{“match_all”: {}}‘ # 권한으로 열어줄 문서 목록을 쿼리로 정의한다.

01. 루트 디렉토리 설정 확인하기

02. 루트 디렉토리 설정 변경하기

03. 설정 변경 후 도커 재기동하기

04. 루트 디렉토리 설정 재확인하기

05. 기존 루트 디렉토리 삭제

1. WEB 구성

2. WAS 구성

3. YAML 파일 생성

4. Kubernetes를 통한 컨테이너 배포

5. 서비스 호출

1. WAS 구성

2. WEB 구성

3. 컨테이너 기동

4. 서비스 호출

준비사항

서비스 파일 작성

docker compose 실행

private registry에 이미지 업로드

docker swarm 구성하기

Swarm dashboard 서비스 실행

Swarm 클러스터에 서비스 등록

curl test

Ubuntu 20.04에 Kubernetes 클러스터 설치

1단계: Kubernetes 서버 설치

2단계: kubelet, beadm 및 kubectl 설치

3단계: 스왑 비활성화

4단계: 컨테이너 런타임 설치

도커 런타임 설치:

CRI-O 설치:

컨테이너 설치:

cgroup 드라이버 설치

5단계: 마스터 노드 초기화

공유 엔드포인트가 없는 부트스트랩 (Worker 초기 설정 시 진행)

공유 엔드포인트가 있는 부트스트랩(제어 평면 API의 DNS 이름)

6단계: 마스터에 네트워크 플러그인 설치

7단계: 작업자 노드 추가

8단계: 클러스터에 애플리케이션 배포

9단계: Kubernetes 대시보드 설치(선택 사항)

10단계: Metrics Server 설치(Pod 및 노드 리소스 사용량 확인용)

11단계: Prometheus/Grafana 모니터링 배포

12단계: 영구 저장소 구성 아이디어(선택 사항)

13. Nginx 인그레스 컨트롤러 설치

소개

간단한 설치

log

storage

auth

최종적인 config.yml

docker-compose.yml 작성

소개

구성 환경

구성목표

도커&쿠버네티스 설치

호스트네임 설정

도커 설치

쿠버네티스 설치

로드밸런서 설치

노드1에만 haproxy 를 설치하도록 하겠습니다.

haproxy 로드밸런싱 설정

haproxy 확인

클러스터 생성

config 생성

클러스터 연결

노드2 클러스터 연결

config 생성

노드3 클러스터 연결

config 생성

클러스터 구성 확인

가상 네트워크(weave) 적용

가상네트워크 적용 확인

nginx 배포 해보기

정리

참고문서

사용한 docker file 명령어Permalink

Error HandlingPermalink

apt-get install apt-transport-https 명령어를 실행할 때, Unable to locate package apt-transport-https 에러 발생Permalink

`apt-get install apt-transport-https` 명령어를 실행할 때, `Unable to locate package apt-transport-https` 에러 발생Permalink