totoliNote

Kubernetes apt install 에러 현상과 원인

K8s 설치 시 어떤 현상이 발생하는가?

2024년 3월 초부터 ubuntu에 apt install 명령어를 통해 kubeadm, kubelet, kubectl이 설치되지 않는다. 기존 사용하던 개발 환경은 다음과 같다.

OS: jharoian3/ubuntu-22.04-arm64
Kubernetes: 1.23.6-00
Docker: 5:24.0.6-1~ubuntu.22.04~jammy

설치를 위한 명령어는 다음과 같이 사용하고 있었다.

curl -fsSL https://packages.cloud.google.com/apt/doc/apt-key.gpg | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-archive-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update
sudo apt -y install kubelet="$KUBERNETES_VERSION" kubectl="$KUBERNETES_VERSION" kubeadm="$KUBERNETES_VERSION"

위 명령어를 통해 kubernetes 설치를 진행하면, 다음과 같은 에러 메시지를 확인할 수 있다.

master: deb [signed-by=/etc/apt/keyrings/kubernetes-archive-keyring.gpg] https://apt.kubernetes.io/ kubernetes-xenial main
master: Hit:1 https://download.docker.com/linux/ubuntu jammy InRelease
master: Hit:3 http://ports.ubuntu.com/ubuntu-ports jammy InRelease
master: Ign:2 https://packages.cloud.google.com/apt kubernetes-xenial InRelease
master: Hit:4 http://ports.ubuntu.com/ubuntu-ports jammy-updates InRelease
master: Err:5 https://packages.cloud.google.com/apt kubernetes-xenial Release
master:   404  Not Found [IP: 142.250.76.142 443]
master: Hit:6 http://ports.ubuntu.com/ubuntu-ports jammy-backports InRelease
master: Get:7 http://ports.ubuntu.com/ubuntu-ports jammy-security InRelease [110 kB]
master: Reading package lists...
master: E: The repository 'https://apt.kubernetes.io kubernetes-xenial Release' does not have a Release file.
master: 
master: WARNING: apt does not have a stable CLI interface. Use with caution in scripts.
master: 
master: Reading package lists...
master: Building dependency tree...
master: Reading state information...
master: E: Unable to locate package kubelet
master: E: Unable to locate package kubectl
master: E: Unable to locate package kubeadm

원인은 package repository에 있다!

위의 에러 메시지를 살펴보면, kubernetes 관련 package 목록을 가져오기 위해 package repository에 접속을 하는데, 404 에러가 발생하고 있음을 알 수 있다. 최근까지 잘 되던 것이 갑자기 되지 않으니까 당황스럽다. 원인은 외부에 있음을 직감하고, kubernetes 공식 문서들을 샅샅이 뒤져보았다.

아니나 다를까, package repository가 대체된다는 안내사항이 있었다. 해당 글에서는 다음과 같이 안내하고 있다.

On behalf of Kubernetes SIG Release, I am very excited to introduce the Kubernetes community-owned software repositories for Debian and RPM packages: pkgs.k8s.io! The new package repositories are replacement for the Google-hosted package repositories (apt.kubernetes.io and yum.kubernetes.io) that we’ve been using since Kubernetes v1.5.

ℹ️ Update (January 12, 2024): the legacy Google-hosted repositories are going away in January 2024. Check out the deprecation announcement for more details about this change.

기존 사용하던 package repository가 2024년 1월부터 아예 사라질 것이라고 되어 있는데, 3월까지 잘 사용한 것도 기적이었던 것이다. 평소 부지런하게 follow up하지 않았던 스스로를 반성하게 된다.

Package repository 관련 문제 해결 방법

Package repository deprecation에 대응하기

안내사항에 따르면, 다음과 같이 package repository를 변경한 후 apt install을 진행하면 된다.

curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.23/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.23/deb/ /" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update

그런데, 이렇게 변경 후 테스트해도 여전히 다음과 같은 에러가 발생한다.

master: Reading package lists...
master: E: Failed to fetch https://pkgs.k8s.io/core:/stable:/v1.23/deb/InRelease  403  Forbidden [IP: 54.192.175.103 443]
master: E: The repository 'https://pkgs.k8s.io/core:/stable:/v1.23/deb  InRelease' is not signed.

한 걸음 나아가긴 했다. 404 Not Found 에러 대신 403 Forbidden 에러가 발생하는 것으로 보아, 적어도 새로운 package repository는 서비스를 하고 있긴 하다는 것을 확인할 수 있다. 그렇다면, 왜 이런 현상이 발생하는 것일까? 이 문제에 대한 원인도 앞서 언급한 안내 글에서 찾을 수 있었다.

The new Kubernetes package repositories contain packages beginning with those Kubernetes versions that were still under support when the community took over the package builds. This means that the new package repositories have Linux packages for all Kubernetes releases starting with v1.24.0.

새로운 package repository는 v1.24.0 이상의 kubernetes만 제공한다는 것이다. 결국, kubernetes의 버전을 올려야 한다.

Docker를 버린 kubernetes v1.24로의 여정

Kubernetes v1.23.x와 v1.24.x 사이에는 큰 차이점이 존재한다. Kubernetes v1.24.0부터는 docker를 버렸다는 것이다. 공식 문서의 내용을 간단히 요약하면 다음과 같다.

1.24 버전 이전에는 docker라는 specific한 CRI를 사용하고 있었다.
Kubernetes에서 docker 외에도 다양한 CRI를 지원하기 위해, CRI standard라는 것을 만들었다.
Docker는 CRI standard를 따르지 않고 있다.
Kubernetes는 docker 지원을 위해 dockershim이라는 코드를 만들어서 제공했다.
Kubernetes 개발 참여자들이 docker라는 특수 CRI를 위해 별도로 시간을 할애하는 것이 부담스럽다.
Kubernetes v1.24부터 dockershim 지원 안하기로 했다.

실제로, kubernetes v1.24 버전을 설치할 때 docker를 사용하려고 하면, 다음과 같은 에러를 만날 수 있다.

master:     [WARNING SystemVerification]: missing optional cgroups: blkio
master: error execution phase preflight: [preflight] Some fatal errors occurred:
master:     [ERROR CRI]: container runtime is not running: output: time="2024-03-05T00:42:52-08:00" level=fatal msg="validate service connection: CRI v1 runtime API is not implemented for endpoint \"unix:///var/run/containerd/containerd.sock\": rpc error: code = Unimplemented desc = unknown service runtime.v1.RuntimeService"
master: , error: exit status 1
master: [preflight] If you know what you are doing, you can make a check non-fatal with `--ignore-preflight-errors=...`
master: To see the stack trace of this error execute with --v=5 or higher
master: failed to load admin kubeconfig: open /root/.kube/config: no such file or directory
master: To see the stack trace of this error execute with --v=5 or higher

눈물과 함께 kubernetes v1.23과 docker와 작별할 시간이다. 앞서 살펴본 package repository 설정 부분에서 버전을 지정해주는 문자열을 변경하자.

curl -fsSL https://pkgs.k8s.io/core:/stable:/v1.24/deb/Release.key | sudo gpg --dearmor -o /etc/apt/keyrings/kubernetes-apt-keyring.gpg
echo "deb [signed-by=/etc/apt/keyrings/kubernetes-apt-keyring.gpg] https://pkgs.k8s.io/core:/stable:/v1.24/deb/ /" | sudo tee /etc/apt/sources.list.d/kubernetes.list
sudo apt-get update

이후 apt-cache policy kubeadm 명령어를 통해 설치 가능한 버전을 조회해보고 apt install을 통해 설치를 진행하면 된다. 이때 주의할 점은, docker가 아니라 containerd를 사용할 것이기 때문에 설치하려는 kubernetes 버전과 호환되는 containerd 버전을 알아보고 미리 설치해두어야 한다는 것이다. Containerd와 kubernetes 버전 호환 관계는 이 문서를 확인하면 된다.

최종적으로 정상화한 개발 환경은 다음과 같다.

OS: jharoian3/ubuntu-22.04-arm64
Kubernetes: 1.24.17-1.1
Containerd: 1.7.0

간단하게 요약하면?

요약 정리

현상: ubuntu에 apt install로 kubernetes를 설치할 때, package list를 불러오는 과정에서 에러 발생
원인: 2024년 초부터 버려진 legacy package repository를 참조하고 있을 가능성 있음
해결책: 새로운 package repository로 변경하면 됨

주의사항

새로운 package repository는 kubernetes v1.24.0 이상만 제공
Docker를 쓰고 있었다면, containerd같은 다른 CRI로 변경 필요

서버 유형	서버 호스트 이름	명세서
주인	k8s-master01.computingforgeeks.com	4GB 램, 2vcpus
노동자	k8s-worker01.computingforgeeks.com	4GB 램, 2vcpus
노동자	k8s-worker02.computingforgeeks.com	4GB 램, 2vcpus

실행 시간	Unix 도메인 소켓 경로
도커	`/var/run/docker.sock`
용기에 담긴	`/run/containerd/containerd.sock`
만들기	`/var/run/crio/crio.sock`

	FROM mcpayment/ubuntu1404-java8
	MAINTAINER mail@jungbin.kim

	# repository index 업데이트
	RUN apt-get -y -qq update

	RUN wget -qO – https://artifacts.elastic.co/GPG-KEY-elasticsearch \| apt-key add –

	# Installing from the APT repository
	RUN apt-get -y -qq install apt-transport-https
	RUN echo “deb https://artifacts.elastic.co/packages/5.x/apt stable main” \| tee -a /etc/apt/sources.list.d/elastic-5.x.list
	RUN apt-get -y -qq update && \
	apt-get -y -qq install elasticsearch

	# Install x-pack & Set super user(as admin)
	WORKDIR /usr/share/elasticsearch
	RUN bin/elasticsearch-plugin install x-pack –batch && \
	bin/x-pack/users useradd admin_user -p testPassword -r superuser

	# config 파일 소스
	COPY elasticsearch.yml /etc/elasticsearch/
	COPY roles.yml /etc/elasticsearch/x-pack/

	# 나중에 내부 테스트를 위함
	# curl 설치
	RUN apt-get -y -qq install curl
	# vi option 추가
	RUN echo “set autoindent \nset number \nset bs=2 \nset nocp” >> ~/.exrc

	# 도커 컨테이너가 실행되었을 때 요청을 기다리고 있는(Listen) 포트를 지정
	EXPOSE 9200

	# 도커 컨테이너가 실행되었을 때 실행되는 명령어를 정의
	CMD service elasticsearch start && bash

	# Set the bind address to a specific IP (IPv4 or IPv6):
	# 192.168.1.10 과 같은 ip에 접근하기 위함
	network.host: 0.0.0.0

	# create an anoynomous user to allow interaction without auth
	xpack.security.authc:
	# 임의의 유저(유저 이름 anonymous)에 viewer라는 role을 줌.
	# (x-pack/roles.yml에서 viewer는 read만 가능하게 설정)
	# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/security-settings.html#anonymous-access-settings
	anonymous:
	username: anonymous
	roles: viewer
	# Disable default user ‘elastic’
	# https://www.elastic.co/guide/en/elasticsearch/reference/5.6/security-settings.html#password-security-settings
	accept_default_password: false

	# The default roles file is empty as the preferred method of defining roles is
	# through the API/UI. File based roles are useful in error scenarios when the
	# API based roles may not be available.

	viewer:
	run_as: [ ‘anonymous’ ] # 적용될 유저 이름 여기서는 인증 받지 않은 임의의 유저
	cluster: [ “monitor” ] # 적용될 cluster들
	indices:
	– names: [ ‘*’ ] # 허용 index를 패턴을 포함하여 정의 한다.
	privileges: [ ‘read’ ] # 권한은 read만 부여한다.
	query: ‘{“match_all”: {}}‘ # 권한으로 열어줄 문서 목록을 쿼리로 정의한다.

Kubernetes apt install 에러 현상과 원인

K8s 설치 시 어떤 현상이 발생하는가?

원인은 package repository에 있다!

Package repository 관련 문제 해결 방법

Package repository deprecation에 대응하기

Docker를 버린 kubernetes v1.24로의 여정

간단하게 요약하면?

요약 정리

주의사항

1. Hold 설정

2. Hold 상태 확인

3. Hold 해제

4. 자동 설치 설정

5. 자동 설치 해제

6. 수동 설치 확인

7. 자동 설치 확인

8. 도움말 표시

Overview

Prerequisites

Step

1. Metrics-Server 배포

2. 부하테스트를 위한 이미지 작성

3. HPA 배포

부하테스트

Ubuntu 20.04에 Kubernetes 클러스터 설치

1단계: Kubernetes 서버 설치

2단계: kubelet, beadm 및 kubectl 설치

3단계: 스왑 비활성화

4단계: 컨테이너 런타임 설치

도커 런타임 설치:

CRI-O 설치:

컨테이너 설치:

cgroup 드라이버 설치

5단계: 마스터 노드 초기화

공유 엔드포인트가 없는 부트스트랩 (Worker 초기 설정 시 진행)

공유 엔드포인트가 있는 부트스트랩(제어 평면 API의 DNS 이름)

6단계: 마스터에 네트워크 플러그인 설치

7단계: 작업자 노드 추가

8단계: 클러스터에 애플리케이션 배포

9단계: Kubernetes 대시보드 설치(선택 사항)

10단계: Metrics Server 설치(Pod 및 노드 리소스 사용량 확인용)

11단계: Prometheus/Grafana 모니터링 배포

12단계: 영구 저장소 구성 아이디어(선택 사항)

13. Nginx 인그레스 컨트롤러 설치

Rook 구성도

Ceph vs EdgeFS

Ceph 스토리지 유형

Shared Storage 구성도

Ceph 설치

테스트 환경

Ceph 소스 다운로드 및 POD 배포

Shared Storage 유형 적용

StorageClass Driver 적용

Shared Storage 확인

Shared Storage 테스트

정리

미리 설치해야 하는 것 – Docker, VirtualBox (가상환경 내에 설치시에는 필요 없음)

Docker 설치

버추얼 박스 설치

Minikube설치

Kubectl설치

Nginx띄워보기

사용한 docker file 명령어Permalink

Error HandlingPermalink

apt-get install apt-transport-https 명령어를 실행할 때, Unable to locate package apt-transport-https 에러 발생Permalink

`apt-get install apt-transport-https` 명령어를 실행할 때, `Unable to locate package apt-transport-https` 에러 발생Permalink