[NHN Cloud] NHN Kubernetes Service(NKS) 활용법

[DataUs] [NHN Cloud] NHN Kubernetes Service(NKS) 따라하기

2022년 NHN Cloud 무료 교육일정 : https://doc.skill.or.kr/2022-NHN-Cloud-Education

NHN Cloud 사용자 가이드 : https://doc.skill.or.kr/nhn-cloud-user-guide

2022년 NHN Cloud 행사/프로모션 정보 공유 : https://doc.skill.or.kr/2022-NHN-Cloud-Event-Promotion

1. 먼저 알아 두기

1.1 Kubernetes 란 무엇인가?

쿠버네티스(Kubernetes, 쿠베르네테스, "K8s")는 컨테이너화된 애플리케이션의 자동 디플로이, 스케일링 등을 제공하는 관리시스템으로, 오픈 소스 기반입니다. 원래 구글에 의해 설계되었고 현재 리눅스 재단에 의해 관리되고 있습니다. 목적은 여러 클러스터의 호스트 간에 애플리케이션 컨테이너의 배치, 스케일링, 운영을 자동화하기 위한 플랫폼을 제공하기 위함입니. 도커를 포함하여 일련의 컨테이너 도구들과 함께 동작합니다.

1.2 Kubernetes 발전사

전통적인 배포 시대: 초기 조직은 애플리케이션을 물리 서버에서 실행했었다. 한 물리 서버에서 여러 애플리케이션의 리소스 한계를 정의할 방법이 없었기에, 리소스 할당의 문제가 발생했다. 예를 들어 물리 서버 하나에서 여러 애플리케이션을 실행하면, 리소스 전부를 차지하는 애플리케이션 인스턴스가 있을 수 있고, 결과적으로는 다른 애플리케이션의 성능이 저하될 수 있었다. 이에 대한 해결책은 서로 다른 여러 물리 서버에서 각 애플리케이션을 실행하는 것이 있다. 그러나 이는 리소스가 충분히 활용되지 않는다는 점에서 확장 가능하지 않았으므로, 물리 서버를 많이 유지하기 위해서 조직에게 많은 비용이 들었다.
가상화된 배포 시대: 그 해결책으로 가상화가 도입되었다. 이는 단일 물리 서버의 CPU에서 여러 가상 시스템 (VM)을 실행할 수 있게 한다. 가상화를 사용하면 VM간에 애플리케이션을 격리하고 애플리케이션의 정보를 다른 애플리케이션에서 자유롭게 액세스 할 수 없으므로, 일정 수준의 보안성을 제공할 수 있다.
가상화를 사용하면 물리 서버에서 리소스를 보다 효율적으로 활용할 수 있으며, 쉽게 애플리케이션을 추가하거나 업데이트할 수 있고 하드웨어 비용을 절감할 수 있어 더 나은 확장성을 제공한다. 가상화를 통해 일련의 물리 리소스를 폐기 가능한(disposable) 가상 머신으로 구성된 클러스터로 만들 수 있다.
각 VM은 가상화된 하드웨어 상에서 자체 운영체제를 포함한 모든 구성 요소를 실행하는 하나의 완전한 머신이다.
컨테이너 개발 시대: 컨테이너는 VM과 유사하지만 격리 속성을 완화하여 애플리케이션 간에 운영체제(OS)를 공유한다. 그러므로 컨테이너는 가볍다고 여겨진다. VM과 마찬가지로 컨테이너에는 자체 파일 시스템, CPU 점유율, 메모리, 프로세스 공간 등이 있다. 기본 인프라와의 종속성을 끊었기 때문에, 클라우드나 OS 배포본에 모두 이식할 수 있다.
컨테이너는 다음과 같은 추가적인 혜택을 제공하기 때문에 인기가 있다.
기민한 애플리케이션 생성과 배포: VM 이미지를 사용하는 것에 비해 컨테이너 이미지 생성이 보다 쉽고 효율적임.
지속적인 개발, 통합 및 배포: 안정적이고 주기적으로 컨테이너 이미지를 빌드해서 배포할 수 있고 (이미지의 불변성 덕에) 빠르고 효율적으로 롤백할 수 있다.
개발과 운영의 관심사 분리: 배포 시점이 아닌 빌드/릴리스 시점에 애플리케이션 컨테이너 이미지를 만들기 때문에, 애플리케이션이 인프라스트럭처에서 분리된다.
가시성은 OS 수준의 정보와 메트릭에 머무르지 않고, 애플리케이션의 헬스와 그 밖의 시그널을 볼 수 있다.
개발, 테스팅 및 운영 환경에 걸친 일관성: 랩탑에서도 클라우드에서와 동일하게 구동된다.
클라우드 및 OS 배포판 간 이식성: Ubuntu, RHEL, CoreOS, 온-프레미스, 주요 퍼블릭 클라우드와 어디에서든 구동된다.
애플리케이션 중심 관리: 가상 하드웨어 상에서 OS를 실행하는 수준에서 논리적인 리소스를 사용하는 OS 상에서 애플리케이션을 실행하는 수준으로 추상화 수준이 높아진다.
느슨하게 커플되고, 분산되고, 유연하며, 자유로운 마이크로서비스: 애플리케이션은 단일 목적의 머신에서 모놀리식 스택으로 구동되지 않고 보다 작고 독립적인 단위로 쪼개져서 동적으로 배포되고 관리될 수 있다.
리소스 격리: 애플리케이션 성능을 예측할 수 있다.
자원 사용량: 리소스 사용량: 고효율 고집적.

1.3 쿠버네티스가 왜 필요하고 무엇을 할 수 있나

컨테이너는 애플리케이션을 포장하고 실행하는 좋은 방법이다. 프로덕션 환경에서는 애플리케이션을 실행하는 컨테이너를 관리하고 가동 중지 시간이 없는지 확인해야 한다. 예를 들어 컨테이너가 다운되면 다른 컨테이너를 다시 시작해야 한다. 이 문제를 시스템에 의해 처리한다면 더 쉽지 않을까?
그것이 쿠버네티스가 필요한 이유이다! 쿠버네티스는 분산 시스템을 탄력적으로 실행하기 위한 프레임 워크를 제공한다. 애플리케이션의 확장과 장애 조치를 처리하고, 배포 패턴 등을 제공한다. 예를 들어, 쿠버네티스는 시스템의 카나리아 배포를 쉽게 관리 할 수 있다.
쿠버네티스는 다음을 제공한다.
서비스 디스커버리와 로드 밸런싱 쿠버네티스는 DNS 이름을 사용하거나 자체 IP 주소를 사용하여 컨테이너를 노출할 수 있다. 컨테이너에 대한 트래픽이 많으면, 쿠버네티스는 네트워크 트래픽을 로드밸런싱하고 배포하여 배포가 안정적으로 이루어질 수 있다.
스토리지 오케스트레이션 쿠버네티스를 사용하면 로컬 저장소, 공용 클라우드 공급자 등과 같이 원하는 저장소 시스템을 자동으로 탑재 할 수 있다.
자동화된 롤아웃과 롤백 쿠버네티스를 사용하여 배포된 컨테이너의 원하는 상태를 서술할 수 있으며 현재 상태를 원하는 상태로 설정한 속도에 따라 변경할 수 있다. 예를 들어 쿠버네티스를 자동화해서 배포용 새 컨테이너를 만들고, 기존 컨테이너를 제거하고, 모든 리소스를 새 컨테이너에 적용할 수 있다.
자동화된 빈 패킹(bin packing) 컨테이너화된 작업을 실행하는데 사용할 수 있는 쿠버네티스 클러스터 노드를 제공한다. 각 컨테이너가 필요로 하는 CPU와 메모리(RAM)를 쿠버네티스에게 지시한다. 쿠버네티스는 컨테이너를 노드에 맞추어서 리소스를 가장 잘 사용할 수 있도록 해준다.
자동화된 복구(self-healing) 쿠버네티스는 실패한 컨테이너를 다시 시작하고, 컨테이너를 교체하며, '사용자 정의 상태 검사'에 응답하지 않는 컨테이너를 죽이고, 서비스 준비가 끝날 때까지 그러한 과정을 클라이언트에 보여주지 않는다.
시크릿과 구성 관리 쿠버네티스를 사용하면 암호, OAuth 토큰 및 SSH 키와 같은 중요한 정보를 저장하고 관리 할 수 있다. 컨테이너 이미지를 재구성하지 않고 스택 구성에 시크릿을 노출하지 않고도 시크릿 및 애플리케이션 구성을 배포 및 업데이트 할 수 있다.

1.4 NHN Kubernetes Service(NKS) 주요 기능

NHN Cloud에 최적화된 Kubernetes 클러스터를 생성하고 관리할 수 있습니다.
Compute, Network, Storage 등 NHN Cloud의 기반 서비스와 연동합니다.
Load Balancer와 연동해 서비스를 공개할 수 있습니다.
Block Storage와 연동해 애플리케이션에 영구 보존 가능한 저장 장치를 지원할 수 있습니다.
Kubernetes 클러스터를 안정적으로 관리합니다.
클러스터의 컨트롤 플레인(마스터)은 NHN Cloud에서 관리합니다.
컨트롤 플레인은 고가용성을 보장하도록 구성됩니다.
Kubernetes 클러스터를 콘솔로 제어할 수 있습니다.
Kubernetes 클러스터를 생성, 삭제, 조회하는 기능을 제공합니다.
노드 그룹을 생성, 삭제, 조회하는 기능을 제공합니다.
kubectl을 쉽게 설정할 수 있는 설정 파일을 제공합니다.

1.5 NHN Kubernetes Service(NKS) 기능 제공

Kubernetes는 컨테이너화된 워크로드와 서비스를 관리할 수 있는 오픈소스 플랫폼입니다. Kubernetes는 다음과 같은 기능을 제공합니다.
서비스 디스커버리와 로드 밸런싱
스토리지 오케스트레이션
자동화된 롤아웃과 롤백
자동화된 빈 패킹(bin packing)
자동화된 복구(self-healing)
시크릿과 구성 관리

1.6 NHN Kubernetes Service(NKS) 클러스터

Kubernetes 클러스터는 서로 연결되어 하나의 유닛처럼 동작하는 컴퓨터 클러스터입니다. Kubernetes가 제공하는 기능은 클러스터 단위로 동작하며, 클러스터 단위로 설정할 수 있습니다.

1.6.1 구성

Kubernetes 클러스터는 마스터와 노드로 구성됩니다.

1.6.2 마스터

마스터는 클러스터 관리를 담당합니다. 애플리케이션을 스케줄링하거나 스케일링, 업데이트하는 등 클러스터 내의 모든 활동을 관리합니다. 일반적으로 마스터의 구성 요소들은 별도의 머신(가상 머신 혹은 물리 머신)에서 구동됩니다. 고가용성 보장을 위해 한 클러스터에 다수의 마스터를 구성할 수도 있습니다.

1.6.3 노드

노드는 사용자의 애플리케이션이 구동되는 워커 머신입니다. 하나의 클러스터에는 다수의 노드가 존재할 수 있습니다. 노드는 마스터와 연결해야 동작됩니다. 마스터의 애플리케이션 구동, 정지 등의 명령에 따라 그대로 수행합니다.

1.7 NHN Kubernetes Service(NKS) 는...

NHN Kubernetes Service(NKS) 서비스는 클라우드에서 Kubernetes를 올바르고 안전하게 구동할 수 있게 Kubernetes 클러스터를 생성하고 관리할 수 있는 서비스입니다. 사용자는 웹 콘솔을 이용해 NHN Cloud에 꼭 맞는 Kubernetes 클러스터를 만들고 관리할 수 있습니다. 안전하고 효율적으로 운영할 수 있게 마스터는 NHN Cloud에서 관리하고, 사용자는 노드와 서비스, Pod(파드) 등을 관리합니다.
NHN Kubernetes Service(NKS) 서비스의 주요 기능은 다음과 같습니다.
NHN Cloud에 꼭맞는 Kubernetes 클러스터 생성과 관리
NHN Cloud의 기반 서비스와 연동
로드 밸런서를 이용한 서비스 공개
블록 스토리지와 연동한 퍼시스턴트 볼륨(Persistent Volume, PV) 지원
고가용성을 보장하는 마스터 관리
웹 콘솔을 이용한 쉬운 조작
클러스터 생성, 삭제, 조회
노드 그룹 생성, 삭제, 조회
kubectl 설정 지원

2. NHN Kubernetes Service(NKS) 용어 설명

2.1 클러스터

2.1.1 클러스터 생성

NHN Kubernetes Service(NKS) 서비스를 사용하려면 먼저 클러스터를 생성해야 하며 필요한 정보를 입력하고 클러스터 생성 버튼을 클릭하면 클러스터 생성이 시작됩니다. 클러스터 목록에서 상태를 확인할 수 있습니다. 생성하는 데는 약 10분 정도 걸립니다. 클러스터 설정에 따라 더 오래 걸릴 수도 있습니다.

항목

설명

클러스터 이름

Kubernetes 클러스터의 이름, 20자 이내로 영문 소문자와 숫자, '-'만 입력 가능하며

영문 소문자로 시작해야 하고 영문 소문자 또는 숫자로 끝나야 합니다.

쿠버네티스 버전

사용할 Kubernetes 버전

VPC

클러스터에 연결할 VPC 네트워크

서브넷

VPC에 정의된 서브넷 중 클러스터를 구성하는 인스턴스에 연결할 서브넷

이미지

클러스터를 구성하는 인스턴스에 사용할 이미지

가용성 영역

기본 노드 그룹 인스턴스를 생성할 영역

인스턴스 타입

기본 노드 그룹 인스턴스 사양

노드 수

기본 노드 그룹 인스턴스 수

키 페어

기본 노드 그룹 접근에 사용할 키 페어

블록 스토리지 타입

기본 노드 그룹 인스턴스의 블록 스토리지 종류

블록 스토리지 크기

본 노드 그룹 인스턴스의 블록 스토리지 크기

2.1.2 클러스터 조회

생성한 클러스터는 서비스 페이지에서 확인할 수 있습니다. 클러스터를 선택하면 하단에 클러스터 정보가 나타납니다.

항목

설명

클러스터 이름

Kubernetes 클러스터의 이름과 ID

노드 수

클러스터를 구성하는 모든 노드 인스턴스 수

Kubernetes 버전

사용 중인 Kubernetes 버전

VPC

클러스터에 연결된 VPC 네트워크

서브넷

클러스터를 구성하는 노드 인스턴스에 연결된 서브넷

API 엔드포인트

클러스터에 접근해 조작하기 위한 API 엔드포인트 URI

설정 파일

클러스터에 접근해 조작하기 위해 필요한 설정 파일 다운로드 버튼

2.1.3 클러스터 삭제

삭제할 클러스터를 선택하고 클러스터 삭제 버튼을 클릭하면 삭제가 진행됩니다. 삭제하는 데는 약 5분 정도 걸립니다. 클러스터의 상태에 따라 더 오래 걸릴 수도 있습니다.

2.2 노드 그룹

2.2.1 노드 그룹 조회

클러스터 목록에서 클러스터 이름을 클릭하면 노드 그룹 목록을 확인할 수 있습니다. 노드 그룹을 선택하면 하단에 노드 그룹 정보가 나타납니다.

항목

설명

노드 그룹 이름

노드 그룹 이름과 ID

클러스터 이름

노드 그룹이 속한 클러스터의 이름과 ID

쿠버네티스 버전

사용 중인 Kubernetes 버전

가용성 영역

노드 그룹 인스턴스가 생성된 영역

인스턴스 타입

노드 그룹 인스턴스 사양

이미지 타입

노드 그룹 인스턴스에 사용한 이미지 종류

블록 스토리지 크기

노드 그룹 인스턴스의 블록 스토리지 크기

생성일

노드 그룹이 생성된 시각

수정일

노드 그룹이 마지막으로 수정된 시각

2.2.2 노드 그룹 생성

클러스터를 생성하면 기본 노드 그룹이 생성되지만, 필요에 따라 추가 노드 그룹을 만들 수 있습니다. 기본 노드 그룹의 인스턴스보다 높은 사양의 컨테이너 구동 환경이 필요하거나, 스케일 아웃(scale out, 확장)을 위해 더 많은 워커 노드 인스턴스가 필요한 경우 추가 노드 그룹을 생성해 사용할 수 있습니다. 노드 그룹 목록 페이지에서 노드 그룹 생성 버튼을 클릭하면 노드 그룹 생성 페이지가 나타납니다. 노드 그룹 생성에 필요한 항목은 다음과 같습니다.

항목

설명

가용성 영역

클러스터를 구성하는 인스턴스를 생성할 영역

노드 그룹 이름

추가 노드 그룹 이름, 20자 이내로 영문 소문자와 숫자, '-'만 입력 가능하며 영문 소문자로 시작해야 하고 영문 소문자 또는 숫자로 끝나야 합니다.

인스턴스 타입

추가 노드 그룹 인스턴스 사양

노드 수

추가 노드 그룹 인스턴스 수

키 페어

추가 노드 그룹 접근에 사용할 키 페어

블록 스토리지 타입

추가 노드 그룹 인스턴스의 블록 스토리지 종류

블록 스토리지 크기

추가 노드 그룹 인스턴스의 블록 스토리지 크기

2.2.3 노드 그룹 삭제

노드 그룹 목록에서 삭제하려는 노드 그룹을 선택하고 노드 그룹 삭제 버튼을 클릭하면 삭제가 진행됩니다. 노드 그룹 삭제하는 데는 약 5분 정도 걸립니다. 노드 그룹의 상태에 따라 더 오래 걸릴 수도 있습니다.

2.2.4 노드 그룹에 노드 추가

동작 중인 노드 그룹에 노드를 추가할 수 있습니다. 노드 그룹 정보 조회 페이지의 노드 목록 탭을 클릭하면 현재 노드 목록이 나타납니다. 노드 추가 버튼을 클릭하고 노드 수를 입력하면 노드가 추가됩니다.
[주의] 오토 스케일러가 활성화된 노드 그룹은 수동으로 노드를 추가할 수 없습니다.

2.2.5 노드 그룹에서 노드 삭제

동작 중인 노드 그룹에서 노드를 삭제할 수 있습니다. 노드 그룹 정보 조회 페이지의 노드 목록 탭을 클릭하면 현재 노드 목록이 나타납니다. 노드 목록 중 삭제할 노드를 선택하고 노드 삭제 버튼을 클릭하면 확인 대화 상자가 나타납니다. 삭제할 노드 이름을 다시 한번 확인하고 확인 버튼을 클릭하면 노드가 삭제됩니다.
[주의] 삭제되는 노드에서 동작하고 있던 파드는 강제 종료 됩니다. 삭제될 노드에서 동작 중인 파드를 안전하게 다른 노드로 옮기기 위해서는 drain 명령을 내려야 합니다. 노드가 drain 된 후에도 새로운 파드는 이 노드에 스케쥴링 될 수 있습니다. 새로운 파드가 삭제될 노드에 스케쥴링되는 것을 방지하기 위해서는 cordon 명령을 내려야 합니다.
[주의] 오토 스케일러가 활성화된 노드 그룹은 수동으로 노드를 삭제할 수 없습니다.

2.3 오토 스케일러

2.3.1 오토 스케일러 설정

오토 스케일러는 노드 그룹의 가용 리소스가 부족해 파드(pod)를 스케쥴링할 수 없거나 노드의 사용률이 일정 수준 이하로 유지되는 경우 노드의 수를 자동으로 조정하는 기능입니다. 이 기능은 노드 그룹별로 설정할 수 있고, 서로 독립적으로 동작합니다. 이 기능은 Kubernetes 프로젝트의 공식 지원 기능인 cluster-autoscaler 기능을 기반으로 합니다. 자세한 사항은 Cluster Autoscaler를 참고하세요.
[참고] 쿠버네티스 서비스에 적용된 cluster-autoscaler의 버전은 1.19.0입니다.

용어

의미

증설

노드의 수를 증가시키는 것을 말합니다

감축

노드의 수를 감소시키는 것을 말합니다

2.3.2 오토 스케일링 설정 항목

오토 스케일러 기능은 노드 그룹별로 설정하고 동작합니다. 오토 스케일러 기능은 아래 경로로 설정할 수 있습니다.
클러스터 생성 시 기본 노드 그룹에 설정
노드 그룹 추가 시 추가 노드 그룹에 설정
생성되어 있는 노드 그룹에 설정

설정 항목

의미

유효 범위

기본값

단위

최소 노드 수

감축 가능한 최소 노드 수

1-10

대

최대 노드 수

증설 가능한 최대 노드 수

1-10

대

감축

노드 감축 활성 여부 설정

활성/비활성

활성

리소스 사용량

임계치

감축의 기준인 리소스 사용량 임계 영역의 기준값

1-100

임계 영역

유지 시간

감축 대상이 될 노드의 임계치 이하의 리소스

사용량 유지 시간

1-1440

분

증설 후

지연 시간

노드 증설 후 감축 대상 노드로 모니터링하기

시작까지의 지연 시간

1-1440

분

[주의] 오토 스케일러가 활성화된 노드 그룹은 수동으로 노드를 추가하거나 삭제할 수 없습니다.

2.3.2 증설 및 감축 조건

아래의 조건을 모두 만족하면 노드를 증설합니다.
파드가 스케쥴링될 수 있는 노드가 없음
현재 노드 수가 최대 노드 수보다 작음
아래의 조건을 모두 만족하면 노드를 감축합니다.
노드의 리소스 사용량이 임계치 이하로 임계 영역 유지 시간 동안 유지
현재 노드 수가 최소 노드 수보다 큼
특정 노드에 아래 조건을 만족하는 파드가 하나라도 존재한다면 해당 노드는 노드 감축 후보에서 제외됩니다.
"PodDisruptionBudget"으로 제약 받는 파드
"kube-system" 네임스페이스의 파드
"deployment", "replicaset" 등의 제어 오브젝트에 의해 시작되지 않은 파드
로컬 스토리지를 사용하는 파드
"node selector" 등의 제약으로 인해 다른 노드로 이동이 불가능한 파드
좀 더 자세한 증설 및 감축 조건은 Cluster Autoscaler FAQ를 참고하세요.

3. NHN Kubernetes Service(NKS) 관리

3.1 kubectl 설치 및 관리

원격의 호스트에서 클러스터를 조작하고 관리하려면 Kubernetes가 제공하는 명령줄 도구(CLI)인 kubectl이 필요합니다.

3.1.1 kubectl 설치

kubectl은 특별한 설치 과정 없이 실행 파일을 다운로드해 바로 사용할 수 있습니다. 운영체제별 다운로드 경로는 다음과 같습니다.

운영체제

다운로드 커맨드

Linux

curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.15.7/bin/linux/amd64/kubectl

MacOS

curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.15.7/bin/darwin/amd64/kubectl

Windows

curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.15.7/bin/windows/amd64/kubectl.exe

그 외 설치 방법과 옵션 등 자세한 사항은 Install and Set Up kubectl 문서를 참고하세요.

3.1.2 Kubectl 권한 변경

다운로드한 파일은 기본적으로 실행 권한이 없습니다. 실행 권한을 추가해야 합니다.

$ chmod +x kubectl

3.1.3 Kubectl 위치 변경 또는 경로 지정

어느 경로에서든 kubectl을 실행할 수 있도록 환경 변수에 지정된 경로로 옮기거나, kubectl이 있는 경로를 환경 변수에 추가합니다.

환경 변수에 지정된 경로로 위치 변경

$ sudo mv kubectl /usr/local/bin/

환경 변수에 경로 추가

// kubectl이 있는 경로에서 실행
$ export PATH=$PATH:$(pwd)

3.1.4 Kubectl 설정

kubectl로 Kubernetes 클러스터에 접근하려면 클러스터 설정 파일(kubeconfig)이 필요합니다. NHN Cloud 웹 콘솔에서 Container > Kubernetes 서비스 페이지를 열고 접근할 클러스터를 선택합니다. 하단 기본 정보 탭에서 설정 파일 항목의 다운로드 버튼을 클릭해 설정 파일을 다운로드합니다. 다운로드한 설정 파일은 원하는 위치로 옮겨 kubectl 실행 시 참조할 수 있도록 준비합니다.
[주의] NHN Cloud 웹 콘솔에서 다운로드한 설정 파일은 클러스터 정보와 인증을 위한 토큰 등이 포함되어 있습니다. 설정 파일이 있으면 해당 Kubernetes 클러스터에 접근할 수 있는 권한을 갖게 됩니다. 설정 파일을 절대로 분실하지 않도록 주의하시기 바랍니다.

kubectl은 실행할 때마다 클러스터 설정 파일이 필요합니다. 따라서 매번 --kubeconfig 옵션을 이용해 클러스터 설정 파일을 지정해야 합니다. 그러나 환경 변수에 클러스터 설정 파일 경로가 저장되어 있다면 매번 옵션을 지정하지 않아도 됩니다.

$ export KUBECONFIG={클러스터 설정 파일 경로}

클러스터 설정 파일 경로를 환경 변수에 저장하고 싶지 않다면 kubectl의 기본 설정 파일인 $HOME/.kube/config로 복사해 사용할 수도 있습니다. 그러나 클러스터를 여러 개 운영한다면 환경 변숫값을 변경하는 방법이 편리합니다.

3.1.5 Kubectl 연결 확인

kubectl version 명령어로 정상 설정되었는지 확인합니다. 문제가 없다면 Server Version이 출력됩니다.
Client Version: 실행한 kubectl 파일의 버전 정보
Server Version: 클러스터를 구성하고 있는 Kubernetes 버전 정보

Kubectl 연결 확인

$ kubectl version  
Client Version: version.Info{Major:"1", Minor:"15", GitVersion:"v1.15.7", GitCommit:"6c143d35bb11d74970e7bc0b6c45b6bfdffc0bd4", GitTreeState:"clean", BuildDate:"2019-12-11T12:42:56Z", GoVersion:"go1.12.12", Compiler:"gc", Platform:"darwin/amd64"}
Server Version: version.Info{Major:"1", Minor:"15", GitVersion:"v1.15.7", GitCommit:"6c143d35bb11d74970e7bc0b6c45b6bfdffc0bd4", GitTreeState:"clean", BuildDate:"2019-12-11T12:34:17Z", GoVersion:"go1.12.12", Compiler:"gc", Platform:"linux/amd64"}

3.2 LoadBalancer 서비스

Kubernetes 애플리케이션의 기본 실행 단위인 파드(pod)는 CNI(Container Network Interface)로 클러스터 네트워크에 연결됩니다. 기본적으로 클러스터 외부에서 파드로는 접근할 수 없습니다. 파드의 서비스를 클러스터 외부에 공개하려면 Kubernetes의 LoadBalancer 서비스(Service) 객체(object)를 이용해 외부에 공개할 경로를 만들어야 합니다. LoadBalancer 서비스 객체를 만들면 클러스터 외부에 NHN Cloud Load Balancer가 생성되어 서비스 객체와 연결됩니다.

3.2.1 LoadBalancer 서비스 생성

Kubernetes의 서비스 객체를 정의하려면 다음과 같은 항목으로 구성된 매니페스트가 필요합니다.

항목

설명

metadata.name

서비스 객체의 이름

spec.selector

서비스 객체와 연결할 파드 이름

spec.ports

외부 로드 밸런서에서 들어오는 트래픽을 파드에 전달할 인터페이스 설정

spec.ports.name

인터페이스 이름

spec.ports.protocol

인터페이스에서 사용할 프로토콜(예: TCP)

spec.ports.port

서비스 객체 외부에 공개할 포트 번호

spec.ports.targetPort

서비스 객체와 연결할 파드의 포트 번호

spec.type

서비스 객체 유형

3.3 인그레이스 컨트롤러

인그레스 컨트롤러(ingress controller)는 인그레스(Ingress) 객체에 정의된 규칙을 참조하여 클러스터 외부에서 내부 서비스로 HTTP와 HTTPS 요청을 라우팅하고 SSL/TSL 종료, 가상 호스팅 등을 제공합니다. 인그레스 컨트롤러와 인그레스에 대한 자세한 내용은 인그레스 컨트롤러, 인그레스 문서를 참고하세요.

3.4 퍼시스턴트 볼륨

퍼시스턴트 볼륨(Persistent Volume, PV)는 물리 저장 장치(volume)를 표현하는 Kubernetes의 자원입니다. 하나의 PV는 하나의 NHN Cloud Block Storage와 연결됩니다. 자세한 내용은 퍼시스턴트 볼륨 문서를 참고하세요.
PV를 파드에 연결해 사용하려면 퍼시스턴트 볼륨 클레임(Persistent Volume Claims, PVC) 객체가 필요합니다. PVC는 용량, 읽기/쓰기 모드 등 필요한 볼륨의 요구 사항을 정의합니다.
PV와 PVC로 사용자는 사용하고 싶은 볼륨의 속성을 정의하고, 시스템은 사용자의 요구 사항에 맞는 볼륨 리소스를 할당하는 방식으로 자원의 사용과 관리를 분리합니다.

3.4.1 PV/PVC의 생명 주기

PV와 PVC는 4단계의 생명 주기(life cycle)를 따릅니다.
프로비저닝(provisioning) 사용자가 직접 볼륨을 확보하고 PV를 생성(static provisioning)하거나 스토리지 클래스를 사용해 동적으로 생성(dynamic provisioning)할 수 있습니다.
바인딩(binding) PV와 PVC를 1:1로 바인딩합니다. 동적 프로비저닝으로 PV를 생성했다면 바인딩도 자동으로 수행됩니다.
사용(using) PV를 파드에 마운트해 사용합니다.
반환(reclaiming) 사용을 마친 볼륨을 회수합니다. 회수 방법은 삭제(Delete), 보존(Retain), 재사용(Recycle)이 있습니다.

방법

설명

삭제(Delete)

PV를 삭제할 때 연결된 볼륨을 함께 삭제합니다.

보존(Retain)

PV를 삭제할 때 연결된 볼륨을 삭제하지 않습니다.

볼륨은 사용자가 직접 삭제하거나 재사용 할 수 있습니다.

재사용(Recycle)

PV를 삭제할 때 연결된 볼륨을 삭제하지 않고 재사용할 수 있는 상태로 만듭니다.

이 방법은 사용 중단(deprecated) 되었습니다.

3.4.2 정적 프로비저닝

정적 프로비저닝(static provisioning)은 사용자가 직접 블록 스토리지를 준비해야 합니다. NHN Cloud 웹 콘솔의 Storage > Block Storage 서비스 페이지에서 블록 스토리지 생성 버튼을 클릭해 PV와 연결할 블록 스토리지를 생성합니다. 블록 스토리지 가이드의 블록 스토리지 생성을 참고하세요.

3.4.3 동적 프로비저닝

동적 프로비저닝(dynamic provisioning)은 스토리지 클래스에 정의된 속성을 참조하여 자동으로 블록 스토리지를 생성합니다. 스토리지 클래스 매니페스트의 parameters.type에 NHN Cloud Block Storage 유형을 지정할 수 있습니다. 지정하지 않으면 HDD 유형으로 설정됩니다.

타입

설정값

HDD

General HDD

SSD

General SSD

4. NHN Kubernetes Service(NKS) 시스템 구축

4.1 NHN Kubernetes Service(NKS) 서비스 활성화

NHN Cloud 콘솔 접속 > 조직 > 프로젝트 > 서비스 선택 (Container > NHN Kubernetes Service(NKS)) 서비스 활성화

4.2 NHN Kubernetes Service(NKS) 클러스터 생성

NHN Cloud 콘솔 접속 > 조직 > 프로젝트 > Container > NHN Kubernetes Service(NKS) > 클러스터 생성

클러스터 설정 값 입력

클러스터 설정 값 확인 후 생성

생성 완료 된 클러스터 정보 확인

5. NHN Kubernetes Service(NKS) 기초

5.1 Kubernetes 관리용 Kube-Manager 서버 구성

관리용 Kube-Manager 서버 생성 * 관리용 manager 서버를 통해 kubernetes 를 관리 운영 용도로 사용
사무실에서 SSH 접속을 위해 Securety Groups 의 룰셋을 설정 22번 포트, 211.60.125.141/32 설정

5.2 Kube-Manager 서버에서 API 설정

Kube-Manager 서버에 SSH 접속 후 kubectl API 설정
test-kubernetes_kubeconfig.yaml 은 콘솔 > Container > Nubernetes > 클릭후 오른쪽 하단 설정파일 다운로드

ubuntu apt 업데이트 및 kubectl API 설정

# ubuntu apt update
ubuntu@kube-manager:~$ sudo apt update
Hit:1 http://mirror.kakao.com/ubuntu focal InRelease
Hit:2 http://mirror.kakao.com/ubuntu focal-updates InRelease
Hit:3 http://mirror.kakao.com/ubuntu focal-backports InRelease
Hit:4 http://security.ubuntu.com/ubuntu focal-security InRelease
Reading package lists... Done
Building dependency tree
Reading state information... Done
110 packages can be upgraded. Run 'apt list --upgradable' to see them.

# kubectl 복사하기     
ubuntu@kube-manager:~$ curl -LO https://storage.googleapis.com/kubernetes-release/release/v1.17.6/bin/linux/amd64/kubectl                
% Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 41.4M  100 41.4M    0     0  18.4M      0  0:00:02  0:00:02 --:--:-- 18.4M

# kubectl 실행 권한 추가 및 /usr/local/bin 폴더 이동    
ubuntu@kube-manager:~$ chmod +x kubectl && sudo mv kubectl /usr/local/bin/

# SFTP 로 `test-kubernetes_kubeconfig.yaml` 파일 업로드  
# Manager 에서 Kubernetes 의 API 통신 파일 연결 하기 
ubuntu@kube-manager:~$ mkdir ~/.kube
ubuntu@kube-manager:~$ mv test-kubernetes_kubeconfig.yaml ~/.kube/config
ubuntu@kube-manager:~$ ls -alh .kube/
total 24K
drwxrwxr-x 4 ubuntu ubuntu 4.0K Apr 22 16:43 .
drwxr-xr-x 5 ubuntu ubuntu 4.0K Apr 22 16:36 ..
drwxr-x--- 3 ubuntu ubuntu 4.0K Apr 22 16:43 cache
-rw-rw-r-- 1 ubuntu ubuntu 5.3K Apr 22 16:42 config
drwxr-x--- 3 ubuntu ubuntu 4.0K Apr 22 16:43 http-cache

아래의 그림은 설정 파일 다운로드(test-kubernetes_kubeconfig.yaml) 을 config 으로 변경 후 ~/.kube 로 파일 이동이

5.3 Kube-Manager 서버와 Kubernetes Cluster 의 API 통신 테스트

Kubernetes Cluster 와 API 통신 테스트

# Node Status 확인  
ubuntu@kube-manager:~$ kubectl get node
NAME                                            STATUS   ROLES    AGE   VERSION
test-kubernetes-default-w-fibhg5xhpdpf-node-0   Ready    <none>   87m   v1.17.6
test-kubernetes-default-w-fibhg5xhpdpf-node-1   Ready    <none>   88m   v1.17.6
test-kubernetes-default-w-fibhg5xhpdpf-node-2   Ready    <none>   87m   v1.17.6

# kube-system namespace 의 pod 상태 확인    
ubuntu@kube-manager:~$ kubectl get pod --namespace kube-system
NAME                                        READY   STATUS    RESTARTS   AGE
coredns-69785fddb8-b7sdk                    1/1     Running   0          92m
coredns-69785fddb8-kc2x4                    1/1     Running   0          92m
dashboard-metrics-scraper-c79c65bb7-r2llq   1/1     Running   0          92m
kube-dns-autoscaler-5bfb4969c6-j4lhq        1/1     Running   0          92m
kube-flannel-ds-amd64-cc4vx                 1/1     Running   0          89m
kube-flannel-ds-amd64-f5vv9                 1/1     Running   0          88m
kube-flannel-ds-amd64-ntwzs                 1/1     Running   0          89m
kubernetes-dashboard-7fccd7c66d-dst5s       1/1     Running   0          92m
metrics-server-7bcdd8974c-kjnc9             1/1     Running   0          92m
npd-bwvnn                                   1/1     Running   0          88m
npd-jbtjg                                   1/1     Running   0          89m
npd-zpmks                                   1/1     Running   0          88m

# API resources 확인    
ubuntu@kube-manager:~$ kubectl api-resources
NAME                              SHORTNAMES   APIGROUP                       NAMESPACED   KIND
bindings                                                                      true         Binding
componentstatuses                 cs                                          false        Componen            tStatus
configmaps                        cm                                          true         ConfigMa            p
endpoints                         ep                                          true         Endpoint            s
events                            ev                                          true         Event
limitranges                       limits                                      true         LimitRan            ge
namespaces                        ns                                          false        Namespac            e
nodes                             no                                          false        Node
persistentvolumeclaims            pvc                                         true         Persiste            ntVolumeClaim
persistentvolumes                 pv                                          false        Persiste            ntVolume
pods                              po                                          true         Pod
podtemplates                                                                  true         PodTempl            ate
replicationcontrollers            rc                                          true         Replicat            ionController
resourcequotas                    quota                                       true         Resource            Quota
secrets                                                                       true         Secret
serviceaccounts                   sa                                          true         ServiceA            ccount
services                          svc                                         true         Service
mutatingwebhookconfigurations                  admissionregistration.k8s.io   false        Mutating            WebhookConfiguration
validatingwebhookconfigurations                admissionregistration.k8s.io   false        Validati            ngWebhookConfiguration
customresourcedefinitions         crd,crds     apiextensions.k8s.io           false        CustomRe            sourceDefinition
apiservices                                    apiregistration.k8s.io         false        APIServi            ce
controllerrevisions                            apps                           true         Controll            erRevision
daemonsets                        ds           apps                           true         DaemonSe            t
deployments                       deploy       apps                           true         Deployme            nt
replicasets                       rs           apps                           true         ReplicaS            et
statefulsets                      sts          apps                           true         Stateful            Set
auditsinks                                     auditregistration.k8s.io       false        AuditSin            k
tokenreviews                                   authentication.k8s.io          false        TokenRev            iew
localsubjectaccessreviews                      authorization.k8s.io           true         LocalSub            jectAccessReview
selfsubjectaccessreviews                       authorization.k8s.io           false        SelfSubj            ectAccessReview
selfsubjectrulesreviews                        authorization.k8s.io           false        SelfSubj            ectRulesReview
subjectaccessreviews                           authorization.k8s.io           false        SubjectA            ccessReview
horizontalpodautoscalers          hpa          autoscaling                    true         Horizont            alPodAutoscaler
cronjobs                          cj           batch                          true         CronJob
jobs                                           batch                          true         Job
certificatesigningrequests        csr          certificates.k8s.io            false        Certific            ateSigningRequest
leases                                         coordination.k8s.io            true         Lease
endpointslices                                 discovery.k8s.io               true         Endpoint            Slice
events                            ev           events.k8s.io                  true         Event
ingresses                         ing          extensions                     true         Ingress
nodes                                          metrics.k8s.io                 false        NodeMetr            ics
pods                                           metrics.k8s.io                 true         PodMetri            cs
ingresses                         ing          networking.k8s.io              true         Ingress
networkpolicies                   netpol       networking.k8s.io              true         NetworkP            olicy
runtimeclasses                                 node.k8s.io                    false        RuntimeC            lass
poddisruptionbudgets              pdb          policy                         true         PodDisru            ptionBudget
podsecuritypolicies               psp          policy                         false        PodSecur            ityPolicy
clusterrolebindings                            rbac.authorization.k8s.io      false        ClusterR            oleBinding
clusterroles                                   rbac.authorization.k8s.io      false        ClusterR            ole
rolebindings                                   rbac.authorization.k8s.io      true         RoleBind            ing
roles                                          rbac.authorization.k8s.io      true         Role
priorityclasses                   pc           scheduling.k8s.io              false        Priority            Class
podpresets                                     settings.k8s.io                true         PodPrese            t
csidrivers                                     storage.k8s.io                 false        CSIDrive            r
csinodes                                       storage.k8s.io                 false        CSINode
storageclasses                    sc           storage.k8s.io                 false        StorageC            lass
volumeattachments                              storage.k8s.io                 false        VolumeAt            tachment

# Cluster Context 확인    
ubuntu@kube-manager:~$ kubectl config get-contexts
CURRENT   NAME      CLUSTER                 AUTHINFO   NAMESPACE
*         default   toast-test-kubernetes   admin

# kube-system namespace 의 service 확
ubuntu@kube-manager:~$ kubectl get service --namespace kube-system
NAME                        TYPE        CLUSTER-IP       EXTERNAL-IP   PORT(S)                  AGE
dashboard-metrics-scraper   ClusterIP   10.254.133.132   <none>        8000/TCP                 35m
kube-dns                    ClusterIP   10.254.0.10      <none>        53/UDP,53/TCP,9153/TCP   35m
kubernetes-dashboard        ClusterIP   10.254.186.220   <none>        443/TCP                  35m
metrics-server              ClusterIP   10.254.160.71    <none>        443/TCP                  35m

5.4 Kube-Manager 에서 kubectl 을 이용한 nginx 서비스 생성

nginx 서비스 생성 및 서비스 확인

# test namespace create
ubuntu@kube-manager:~$ kubectl create namespace test
namespace/test created

# test namespace nginx deployment create
ubuntu@kube-manager:~$ kubectl create deployment nginx --image nginx --namespace test
deployment.apps/nginx created

# pod scale out (pod replicas 3, image: nginx)
ubuntu@kube-manager:~$ kubectl scale deployment nginx --replicas 3 --namespace test
deployment.apps/nginx scaled

# test namespace httpd deployment create pod 수 scale out (pod 수: 1, image:httpd)
ubuntu@kube-manager:~$ kubectl create deployment httpd --image httpd --namespace test
deployment.apps/httpd created

# nginx deployment 외부에서 접속 가능한 네트워크 생성 (LoadBalancer Service:80)
ubuntu@kube-manager:~$ kubectl expose deployment nginx --port 80 --target-port 80 --type LoadBalancer --namespace test
service/nginx exposed

# nginx, httpd pod 확인    
ubuntu@kube-manager:~$ kubectl get pod --namespace test
NAME                     READY   STATUS    RESTARTS   AGE
nginx-86c57db685-4wwtv   1/1     Running   0          109s
nginx-86c57db685-kc74d   1/1     Running   0          87s
nginx-86c57db685-tqtr7   1/1     Running   0          87s
httpd-5b674d6b89-rnm5b   1/1     Running   0          67s

# nginx LoadBalancer service 확인 
# 웹 브라우저에서 해당 EXTERNAL -IP 접속     
ubuntu@kube-manager:~$ kubectl get service --namespace test
NAME    TYPE           CLUSTER-IP      EXTERNAL-IP      PORT(S)        AGE
nginx   LoadBalancer   10.254.249.48   133.186.229.64   80:30905/TCP   6m28s

5.5 Nginx 서비스 확인

5.5 Kube-Mnanger 에서 POD 로 접속

POD 시스템 접속 및 curl 확인

# pod 시스템 리스
ubuntu@kube-manager:~$ kubectl get pod --namespace test
NAME                     READY   STATUS    RESTARTS   AGE
nginx-86c57db685-4wwtv   1/1     Running   0          11m
nginx-86c57db685-kc74d   1/1     Running   0          11m
nginx-86c57db685-tqtr7   1/1     Running   0          11m
httpd-5b674d6b89-rnm5b   1/1     Running   0          10m

# kubectl 을 이용하여 nginx-86c57db685-4wwtv 의 POD 접속    
ubuntu@kube-manager:~$ kubectl exec -it nginx-86c57db685-4wwtv --namespace test bash
root@nginx-86c57db685-4wwtv:/$ apt update && apt install curl -y
Get:1 http://security.debian.org/debian-security buster/updates InRelease [65.4 kB]
Get:2 http://deb.debian.org/debian buster InRelease [121 kB]
Get:3 http://deb.debian.org/debian buster-updates InRelease [51.9 kB]
Get:4 http://security.debian.org/debian-security buster/updates/main amd64 Packages [272 kB]
Get:5 http://deb.debian.org/debian buster/main amd64 Packages [7907 kB]
Get:6 http://deb.debian.org/debian buster-updates/main amd64 Packages [9504 B]
Fetched 8427 kB in 3s (3089 kB/s)
Reading package lists... Done
Building dependency tree
Reading state information... Done
All packages are up to date.
Reading package lists... Done
Building dependency tree
Reading state information... Done
curl is already the newest version (7.64.0-4+deb10u2).
0 upgraded, 0 newly installed, 0 to remove and 0 not upgraded.

# curl 을 이용하여 nginx 서비스를 확인    
root@nginx-86c57db685-4wwtv:/$ curl nginx.test.svc.cluster.local:80
<!DOCTYPE html>
<html>
<head>
<title>Welcome to nginx!</title>
<style>
    body {
        width: 35em;
        margin: 0 auto;
        font-family: Tahoma, Verdana, Arial, sans-serif;
    }
</style>
</head>
<body>
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>
root@nginx-86c57db685-4wwtv:/#exit

5.6 Kube-Manager 에서 POD 서비스 삭제 (수정 필요)

POD 확인 및 삭제

# POD 서비스 확인   
ubuntu@kube-manager:~$ kubectl get pod --namespace test
NAME                     READY   STATUS    RESTARTS   AGE
nginx-86c57db685-4wwtv   1/1     Running   0          11m
nginx-86c57db685-kc74d   1/1     Running   0          11m
nginx-86c57db685-tqtr7   1/1     Running   0          11m
httpd-5b674d6b89-rnm5b   1/1     Running   0          10m

# nginx, httpd deployment 삭제    
ubuntu@kube-manager:~$ kubectl delete deployment nginx httpd --namespace test
deployment.apps "nginx" deleted
deployment.apps "httpd" deleted

# nginx service 삭제    
ubuntu@kube-manager:~$ kubectl delete service nginx --namespace test
service "nginx" deleted

# test 네임스페이스 삭제    
ubuntu@kube-manager:~$ kubectl delete namespace test
namespace "test" deleted

6. NHN Cloud 대시보드 설정 및 활용

NHN Cloud Kubernetes 서비스는 기본 웹 UI 대시보드(dashboard)를 제공합니다. Kubernetes 대시보드에 대한 자세한 내용은 웹 UI (대시보드) 문서를 참고하세요.

6.1 대시보드 서비스 활성화 및 접속 토큰

사용자 Kubernetes에는 대시보드를 공개하기 위한 kubernetes-dashboard 서비스 객체가 미리 생성되어 있습니다.

대시보드 서비스 활성화

ubuntu@kube-manager:~$ kubectl get svc kubernetes-dashboard -n kube-system
NAME                   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
kubernetes-dashboard   ClusterIP   10.254.46.105   <none>        443/TCP   8m11s
ubuntu@kube-manager:~$ kubectl describe svc kubernetes-dashboard -n kube-system
Name:              kubernetes-dashboard
Namespace:         kube-system
Labels:            k8s-app=kubernetes-dashboard
Annotations:       kubectl.kubernetes.io/last-applied-configuration:
                     {"apiVersion":"v1","kind":"Service","metadata":{"annotations":{},"labels":{"k8s-app":"kubernetes-dashboard"},"name":"kubernetes-dashboard"...
Selector:          k8s-app=kubernetes-dashboard
Type:              ClusterIP
IP:                10.254.46.105
Port:              <unset>  443/TCP
TargetPort:        8443/TCP
Endpoints:         10.100.34.3:8443
Session Affinity:  None
Events:            <none>

ubuntu@kube-manager:~$ kubectl -n kube-system patch svc/kubernetes-dashboard -p '{"spec":{"type":"LoadBalancer"}}'
service/kubernetes-dashboard patched

ubuntu@kube-manager:~$ kubectl get svc -n kube-system
NAME                        TYPE           CLUSTER-IP      EXTERNAL-IP      PORT(S)                  AGE
dashboard-metrics-scraper   ClusterIP      10.254.199.54   <none>           8000/TCP                 10m
kube-dns                    ClusterIP      10.254.0.10     <none>           53/UDP,53/TCP,9153/TCP   10m
kubernetes-dashboard        LoadBalancer   10.254.46.105   133.186.219.13   443:30778/TCP            10m
metrics-server              ClusterIP      10.254.43.179   <none>           443/TCP                  10m
ubuntu@kube-manager:~$

6.2 대시보드 접근 토큰 정보 확인

웹 브라우저에서 https://{EXTERNAL-IP}로 접속하면 Kubernetes 대시보드 페이지가 로딩됩니다. 로그인을 위해 필요한 토큰은 대시보드 엑세스 토큰을 참고하세요.

토큰 정보 확인

ubuntu@kube-manager:~$ kubectl --kubeconfig=$KUBE_CONFIG -n kube-system describe secret $(kubectl --kubeconfig=$KUBE_CONFIG -n kube-system get secret | awk '/^kubernetes-dashboard-token/{print $1}') | awk '$1=="token:"{print $2}'
eyJhbGciOiJSUzI1NiIsImtpZCI6IjJENWpBSjBKZ09ZbmJ5d19rcUV5MHZNc0F1b3RaMjZtZWhpVFhpYnVRdlUifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZC10b2tlbi01bXBueiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6ImQ4MzY5ZmM3LWUyYjktNDZmMC1iYTEwLTMzMDE1NDRkZGU1MyIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlLXN5c3RlbTprdWJlcm5ldGVzLWRhc2hib2FyZCJ9.Ecn1skL0LzycSYfznpQhc3F8NBe79Lo3ya6zCsQZp4BGN0NVeIc44fIpgXD1f_LQ_JqRBC5qWK0iwKfBdccIzgKBs-FjkuiWLwVgnB6rAicWVq4CXwFhit4WHNXs5-C5OOBJnYiPr949xLQmqh_Tc3WYcPcMa_xzuYGfcEzq2bajyMPmWdgrys3Nf3AxUDx9LMfbrmW_F5MuCutjhb0C2Scg0S1_d5esvjggFe3FRiY2GF5LCH7okzSNKiXg
ubuntu@kube-manager:~$

6.3 대시보드 접속 확인

크롬을 이용하여 https://133.186.219.13 으로 접속 접속아이피는 설정에 따라 변함
접속 할 때 토큰 정보를 입력 하여 로그인

정상적으로 로그인 후 다양한 정보를 확인 할 수 있습니다.

6.4 (이거 하나면 끝) NHN Cloud 대시보드 서비스 등록 하기

아래의 쉘(nhn_cloud_dash.sh) 파일을 이용하여 실행 하면 대시보드에 접속이 가능합니다.

nhn_cloud_dash.sh

#/bin/bash

kubectl get svc kubernetes-dashboard -n kube-system
kubectl -n kube-system patch svc/kubernetes-dashboard -p '{"spec":{"type":"LoadBalancer"}}'
kubectl get svc -n kube-system
kubectl --kubeconfig=$KUBE_CONFIG -n kube-system describe secret $(kubectl --kubeconfig=$KUBE_CONFIG -n kube-system get secret | awk '/^kubernetes-dashboard-token/{print $1}') | awk '$1=="token:"{print $2}'

398B

nhn_cloud_dash.sh

# nhn_cloud_dash.sh 실행 권한 부여    
ubuntu@kube-manager:~$ chmod +x nhn_cloud_dash.sh

# nhn_cloud_dash.sh 파일 실행     
ubuntu@kube-manager:~$ ./nhn_cloud_dash.sh
NAME                   TYPE           CLUSTER-IP    EXTERNAL-IP       PORT(S)         AGE
kubernetes-dashboard   LoadBalancer   10.254.34.9   133.186.144.217   443:30826/TCP   4h10m
service/kubernetes-dashboard patched

# kube-system namespace 서비스 목록 확인
NAME                        TYPE           CLUSTER-IP       EXTERNAL-IP       PORT(S)                  AGE
dashboard-metrics-scraper   ClusterIP      10.254.201.131   <none>            8000/TCP                 4h10m
kube-dns                    ClusterIP      10.254.0.10      <none>            53/UDP,53/TCP,9153/TCP   4h10m
kubernetes-dashboard        LoadBalancer   10.254.34.9      133.186.144.217   443:30826/TCP            4h10m
metrics-server              ClusterIP      10.254.103.255   <none>            443/TCP                  4h10m

# 대시 보드 토큰 값(로그인 토큰)      
eyJhbGciOiJSUzI1NiIsImtpZCI6IkhPSzNnRnVibWpkOHRUXzdKVUxHZDJNV3V1Z0VHRksybnJrOWhScDVaOGcifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlLXN5c3RlbSIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZC10b2tlbi1icmJmaCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjVjYzIzZGU2LWM4NzUtNDZmNS1iYTViLTY3OGVjOTQyODE5OSIsInN1YiI6InN5c3RlbTpzZXJ2aWNlYWNjb3VudDprdWJlLXN5c3RlbTprdWJlcm5ldGVz5-xEtugE6I5SEwoI7zhFDqYw_PJNoKhxTXXjt4DjhCumyBdPsxSHgwyeeQEqQ1KimIOQ4wSsiB1APyf8dflRF9k0I7snTBxHlDpEs9mVlhZDacV52yDBgAcomP5QwQn8ZUSuZqF-ptjuz-CXHB8IPwRLs32Qqnbf7ZB4DTU7fBc_NzCgnx_2t3bJQhNdDH89U6HxdgKsplqEQT1q0hZFNszpdtJUGF2jiXyoYLxKvZqO4ALJi_-03yziIZE4VG7IHHN81-Uf4ovGOK9dFxg28rDgDWTztZ8gcFZgDJi0c6IeyjQCE1ZZFJ81Wu8QFzmlQj_g

7. Kubernetes 관리용 WeaveScope 시각화 도구 무료 툴

7.1 WeaveScope 설치 및 실행

WeaveScope 설치 및 실행

# Kubectl create  리소스 생성  실행    
ubuntu@kube-manager:~$ kubectl create -f 'https://cloud.weave.works/launch/k8s/weavescope.yaml'
namespace/weave created
serviceaccount/weave-scope created
deployment.apps/weave-scope-app created
service/weave-scope-app created
deployment.apps/weave-scope-cluster-agent created
daemonset.apps/weave-scope-agent created
# Kubectl apply 는 리소스 생성 및 업데이트 후 실행   
ubuntu@kube-manager:~$ kubectl apply -f 'https://cloud.weave.works/launch/k8s/weavescope.yaml'
namespace/weave created
serviceaccount/weave-scope created
deployment.apps/weave-scope-app created
service/weave-scope-app created
deployment.apps/weave-scope-cluster-agent created
daemonset.apps/weave-scope-agent created
ubuntu@kube-manager:~$

7.2 WeaveScope Pod 실행 확인

WeaveScope Pod 실행 확인

ubuntu@kube-manager:~$ kubectl get pod --namespace weave
NAME                                       READY   STATUS    RESTARTS   AGE
weave-scope-agent-6jr62                    1/1     Running   0          26m
weave-scope-agent-m5ztn                    1/1     Running   0          26m
weave-scope-agent-mlfts                    1/1     Running   0          26m
weave-scope-app-5f48f66458-p45r2           1/1     Running   0          26m
weave-scope-cluster-agent-9bbd4f85-r56rp   1/1     Running   0          26m

7.3 WeaveScope Services 확인

WeaveScope Services 확인

ubuntu@kube-manager:~$ kubectl get services --namespace weave
NAME                               TYPE           CLUSTER-IP      EXTERNAL-IP      PORT(S)          AGE
weave-scope-app                    ClusterIP      10.254.39.30    <none>           80/TCP           28m
ubuntu@kube-manager:~$

7.4 WeaveScope 외부 접속 서비스 설정 (Loadbalancer Type 이용)

kubectl expose 를 이용하여 LoadBalancer 를 이용하여 외부 접속

# pod 값에 weave-scope-app-5f48f66458-p45r2 값을 저장     
ubuntu@kube-manager:~$ pod=$(kubectl get pod -n weave --selector=name=weave-scope-app -o jsonpath={.items..metadata.name})
# kubectl expose 를 이용하여 4040 포트를 
ubuntu@kube-manager:~$ kubectl expose pod $pod -n weave --port=4040 --target-port=4040 --type=LoadBalancer
ubuntu@kube-manager:~$ kubectl get services --namespace weave
NAME                               TYPE           CLUSTER-IP      EXTERNAL-IP      PORT(S)          AGE
weave-scope-app                    ClusterIP      10.254.39.30    <none>           80/TCP           73m
weave-scope-app-5f48f66458-p45r2   LoadBalancer   10.254.11.142   133.186.159.43   4040:32260/TCP   73m
ubuntu@kube-manager:~$

7.5 WeaveScope 크롬 접속 확인

7.6 WeaveScope 외부 접속 제한 (LoadBalancer 에서 접속 제한)

WeaveScope 는 접속 제한이 없어 NHN Cloud Console 의 LoadBalancer 에 IP접근제어그룹에 접속해야 하는 공인IP 및 사설IP 를 입력 하여 접속을 제한

7.6.1 NHN Cloud > Network > LoadBancer > IP 접근 제어 그룹 > IP 접근 제어 그룹 생성

공인 IP : 211.60.125.141/32, 사설IP : 192.168.0.0/24 (회사 사설IP) 등

7.6.2 IP 접근제어 그룹 생성

IP 접근제어 그룹은 이름, 설명, IP 접근제어 타입, IP 접근제어 대상 추가 에 입력 후 확인
등록 IP 만 접속을 허가 하므로 IP 접근제어 타입은 '허용'으로 설정

7.6.3 IP 접근 제어 그룹 적용

로드 밸런서에 weave 서비스 확인
IP 접근제어 그룹 선택에서 허용 : Kube-Manager 선택 후 확인

7.6.4 LoadBalancer 관리에서 IP 접근 타입, 그룹 확인

7.7 WeaveScope 중지

WeaveScope 중지

ubuntu@kube-manager:~$ kubectl get services --namespace weave
NAME                               TYPE           CLUSTER-IP      EXTERNAL-IP      PORT(S)          AGE
weave-scope-app                    ClusterIP      10.254.39.30    <none>           80/TCP           73m
weave-scope-app-5f48f66458-p45r2   LoadBalancer   10.254.11.142   133.186.159.43   4040:32260/TCP   73m
ubuntu@kube-manager:~$ kubectl delete namespace weave
namespace "weave" deleted
ubuntu@kube-manager:~$

7.8 (이거 하나면 끝) NHN Cloud 에서 weavescope 서비스 등록 하기

Kube-Manager 서버에서 쉘(nhn_cloud_weavescope.sh) 파일을 이용하여 실행 하면 Weavescope 의 웹 페이지에 접속이 가능합니다. 7.6에 IP 접속 제한을 하여야 합니다.

nhn_cloud_weavescope.sh

#/bin/bash

kubectl get pod --all-namespaces
kubectl get services --all-namespaces
kubectl apply -f 'https://cloud.weave.works/launch/k8s/weavescope.yaml'
kubectl -n weave patch svc/weave-scope-app -p '{"spec":{"type":"LoadBalancer"}}'
kubectl get services --all-namespaces

279B

nhn_cloud_weavescope.sh

# nhn_cloud_weavescope.sh 실행 권한 부여    
ubuntu@kube-manager:~$ chmod +x nhn_cloud_weavescope.sh

# nhn_cloud_weavescope.sh 실행     
ubuntu@kube-manager:~$ ./nhn_cloud_weavescope.sh

# 전체 namespace Pod 목록 확인     
NAMESPACE     NAME                                                 READY   STATUS    RESTARTS   AGE
default       echo-799bdfb445-jnkqb                                1/1     Running   0          127m
kube-system   cluster-autoscaler-default-worker-796888b878-c22v7   1/1     Running   0          4h27m
kube-system   coredns-69785fddb8-rqmm8                             1/1     Running   0          4h28m
kube-system   coredns-69785fddb8-xtfkt                             1/1     Running   0          4h28m
kube-system   dashboard-metrics-scraper-c79c65bb7-qpplj            1/1     Running   0          4h28m
kube-system   kube-dns-autoscaler-5bfb4969c6-qwx6d                 1/1     Running   0          4h28m
kube-system   kube-flannel-ds-amd64-2t9h2                          1/1     Running   0          4h24m
kube-system   kubernetes-dashboard-7fccd7c66d-dzxwp                1/1     Running   0          4h28m
kube-system   metrics-server-7bcdd8974c-hn4h8                      1/1     Running   0          4h28m
kube-system   npd-7hzrv                                            1/1     Running   0          4h23m

# 전체 namespace 서비스 목록 확인     
NAMESPACE     NAME                        TYPE           CLUSTER-IP       EXTERNAL-IP       PORT(S)                  AGE
default       kubernetes                  ClusterIP      10.254.0.1       <none>            443/TCP                  4h28m
kube-system   dashboard-metrics-scraper   ClusterIP      10.254.201.131   <none>            8000/TCP                 4h28m
kube-system   kube-dns                    ClusterIP      10.254.0.10      <none>            53/UDP,53/TCP,9153/TCP   4h28m
kube-system   kubernetes-dashboard        LoadBalancer   10.254.34.9      133.186.144.217   443:30826/TCP            4h28m
kube-system   metrics-server              ClusterIP      10.254.103.255   <none>            443/TCP                  4h28m

# weavescope 서비스 실행    
namespace/weave created
serviceaccount/weave-scope created
clusterrole.rbac.authorization.k8s.io/weave-scope configured
clusterrolebinding.rbac.authorization.k8s.io/weave-scope configured
deployment.apps/weave-scope-app created
service/weave-scope-app created
deployment.apps/weave-scope-cluster-agent created
daemonset.apps/weave-scope-agent created

# type 을 LoadBalancer 로 변경     
service/weave-scope-app patched

# EXTERNAL-IP 에서 공인 IP 획득       
NAMESPACE     NAME                        TYPE           CLUSTER-IP       EXTERNAL-IP       PORT(S)                  AGE
default       kubernetes                  ClusterIP      10.254.0.1       <none>            443/TCP                  4h28m
kube-system   dashboard-metrics-scraper   ClusterIP      10.254.201.131   <none>            8000/TCP                 4h28m
kube-system   kube-dns                    ClusterIP      10.254.0.10      <none>            53/UDP,53/TCP,9153/TCP   4h28m
kube-system   kubernetes-dashboard        LoadBalancer   10.254.34.9      133.186.144.217   443:30826/TCP            4h28m
kube-system   metrics-server              ClusterIP      10.254.103.255   <none>            443/TCP                  4h28m
weave         weave-scope-app             LoadBalancer   10.254.226.22    133.186.159.43    80:32541/TCP             1s

8. YAML 검증 사이트 활용

8.1 YAML 검증 사이트 http://www.yamllint.com/

Yaml 파일을 실행 하기 전에 아래의 사이트에서 검증을 사용해 보자.

부록. Kubectl 명령어 사용법

1. Pod 조회

pod 조회 시 pods, po 와 같이 사용이 가능함

# Pod 조회 
ubuntu@kube-manager:~$ kubectl get pod
No resources found in default namespace.

# 전체 NameSpace 의 Pod 조회          
ubuntu@kube-manager:~$ kubectl get pod --all-namespaces
NAMESPACE     NAME                                                 READY   STATUS    RESTARTS   AGE
kube-system   cluster-autoscaler-default-worker-796888b878-c22v7   1/1     Running   0          60m
kube-system   coredns-69785fddb8-rqmm8                             1/1     Running   0          61m
kube-system   coredns-69785fddb8-xtfkt                             1/1     Running   0          61m
kube-system   dashboard-metrics-scraper-c79c65bb7-qpplj            1/1     Running   0          61m
kube-system   kube-dns-autoscaler-5bfb4969c6-qwx6d                 1/1     Running   0          61m
kube-system   kube-flannel-ds-amd64-2t9h2                          1/1     Running   0          57m
kube-system   kubernetes-dashboard-7fccd7c66d-dzxwp                1/1     Running   0          61m
kube-system   metrics-server-7bcdd8974c-hn4h8                      1/1     Running   0          61m
kube-system   npd-7hzrv                                            1/1     Running   0          56m
weave         weave-scope-agent-9knlg                              1/1     Running   0          48m
weave         weave-scope-app-5f48f66458-9m85b                     1/1     Running   0          46m
weave         weave-scope-cluster-agent-9bbd4f85-vlp8n             1/1     Running   0          46m

# 특정(weave) NameSpace 의 Pod 조회    
ubuntu@kube-manager:~$ kubectl get pod --namespace weave
NAME                                       READY   STATUS    RESTARTS   AGE
weave-scope-agent-9knlg                    1/1     Running   0          54m
weave-scope-app-5f48f66458-9m85b           1/1     Running   0          52m
weave-scope-cluster-agent-9bbd4f85-vlp8n   1/1     Running   0          52m

2. 전체 서비스 정보 조회

# default 서비스를 조회    
ubuntu@kube-manager:~$ kubectl get all
NAME                 TYPE        CLUSTER-IP   EXTERNAL-IP   PORT(S)   AGE
service/kubernetes   ClusterIP   10.254.0.1   <none>        443/TCP   65m

# 모든 NameSpace 의 서비스를 조회    
ubuntu@kube-manager:~$ kubectl get all --all-namespaces
NAMESPACE     NAME                                                     READY   STATUS    RESTARTS   AGE
kube-system   pod/cluster-autoscaler-default-worker-796888b878-c22v7   1/1     Running   0          65m
kube-system   pod/coredns-69785fddb8-rqmm8                             1/1     Running   0          65m
kube-system   pod/coredns-69785fddb8-xtfkt                             1/1     Running   0          65m
kube-system   pod/dashboard-metrics-scraper-c79c65bb7-qpplj            1/1     Running   0          65m
kube-system   pod/kube-dns-autoscaler-5bfb4969c6-qwx6d                 1/1     Running   0          65m
kube-system   pod/kube-flannel-ds-amd64-2t9h2                          1/1     Running   0          61m
kube-system   pod/kubernetes-dashboard-7fccd7c66d-dzxwp                1/1     Running   0          65m
kube-system   pod/metrics-server-7bcdd8974c-hn4h8                      1/1     Running   0          65m
kube-system   pod/npd-7hzrv                                            1/1     Running   0          61m
weave         pod/weave-scope-agent-9knlg                              1/1     Running   0          52m
weave         pod/weave-scope-app-5f48f66458-9m85b                     1/1     Running   0          50m
weave         pod/weave-scope-cluster-agent-9bbd4f85-vlp8n             1/1     Running   0          50m

NAMESPACE     NAME                                TYPE           CLUSTER-IP       EXTERNAL-IP       PORT(S)                                                                                                     AGE
default       service/kubernetes                  ClusterIP      10.254.0.1       <none>            443/TCP                                                                                                     65m
kube-system   service/dashboard-metrics-scraper   ClusterIP      10.254.201.131   <none>            8000/TCP                                                                                                    65m
kube-system   service/kube-dns                    ClusterIP      10.254.0.10      <none>            53/UDP,53/TCP,                                                                                   9153/TCP   65m
kube-system   service/kubernetes-dashboard        ClusterIP      10.254.34.9      <none>            443/TCP                                                                                                     65m
kube-system   service/metrics-server              ClusterIP      10.254.103.255   <none>            443/TCP                                                                                                     65m
weave         service/weave-scope-app             LoadBalancer   10.254.81.167    133.186.240.198   80:30884/TCP                                                                                                52m

NAMESPACE     NAME                                   DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SEL                                                                                   ECTOR                   AGE
kube-system   daemonset.apps/kube-flannel-ds-amd64   1         1         1       1            1           beta.kub                                                                                   ernetes.io/arch=amd64   65m
kube-system   daemonset.apps/npd                     1         1         1       1            1           <none>                                                                                                             65m
weave         daemonset.apps/weave-scope-agent       1         1         1       1            1           <none>                                                                                                             52m

NAMESPACE     NAME                                                READY   UP-TO-DATE   AVAILABLE   AGE
kube-system   deployment.apps/cluster-autoscaler-default-worker   1/1     1            1           65m
kube-system   deployment.apps/coredns                             2/2     2            2           65m
kube-system   deployment.apps/dashboard-metrics-scraper           1/1     1            1           65m
kube-system   deployment.apps/kube-dns-autoscaler                 1/1     1            1           65m
kube-system   deployment.apps/kubernetes-dashboard                1/1     1            1           65m
kube-system   deployment.apps/metrics-server                      1/1     1            1           65m
weave         deployment.apps/weave-scope-app                     1/1     1            1           52m
weave         deployment.apps/weave-scope-cluster-agent           1/1     1            1           52m

NAMESPACE     NAME                                                           DESIRED   CURRENT   READY   AGE
kube-system   replicaset.apps/cluster-autoscaler-default-worker-796888b878   1         1         1       65m
kube-system   replicaset.apps/coredns-69785fddb8                             2         2         2       65m
kube-system   replicaset.apps/dashboard-metrics-scraper-c79c65bb7            1         1         1       65m
kube-system   replicaset.apps/kube-dns-autoscaler-5bfb4969c6                 1         1         1       65m
kube-system   replicaset.apps/kubernetes-dashboard-7fccd7c66d                1         1         1       65m
kube-system   replicaset.apps/metrics-server-7bcdd8974c                      1         1         1       65m
weave         replicaset.apps/weave-scope-app-5f48f66458                     1         1         1       52m
weave         replicaset.apps/weave-scope-cluster-agent-9bbd4f85             1         1         1       52m
ubuntu@kube-manager:~$