빠른 개발을 위한 docker 활용법(5분 완성)

[https://doc.skill.or.kr] 5분이면 누구든지 쉽게 따라 할 수 있는 시스템 구성 방법(Docker-compose 활용)

donation

2022년 NHN Cloud 무료 교육일정 : https://doc.skill.or.kr/2022-NHN-Cloud-Education

2022년 NHN Cloud 행사/프로모션 정보 공유 : https://doc.skill.or.kr/2022-NHN-Cloud-Event-Promotion

1. 먼저 알아 두기

1.1 도커(docker) 란?

도커(Docker)는 리눅스의 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로젝트이다. 도커 컨테이너는 일종의 소프트웨어를 소프트웨어의 실행에 필요한 모든 것을 포함하는 완전한 파일 시스템 안에 감싸며 리눅스에서 운영 체제 수준 가상화의 추상화 및 자동화 계층을 추가적으로 제공한다. 도커는 cgroups와 커널 이름 공간과 같은 리눅스 커널, 또 aufs와 같은 유니언 가능 파일 시스템의 리소스 격리 기능을 사용하며, 이를 통해 독립적인 "컨테이너"가 하나의 리눅스 인스턴스 안에서 실행할 수 있게 함으로써 가상 머신을 시작하여 유지보수 해야 하는 부담을 없애준다.

1.2 도커(docker) 사용 도구

1.2.1 Docker Compose (해당 문서는 이 도구를 사용함)

Compose는 멀티 컨테이너 도커 애플리케이션을 정의하고 실행하는 도구이다. YAML 파일을 사용하여 애플리케이션의 서비스를 구성하며 하나의 명령을 가지고 모든 컨테이너의 생성 및 시작 프로세스를 수행한다.

1.2.2 Docker Swarm

Docker Swarm은 도커 컨테이너의 네이티브 클러스터링 기능을 제공하며 도커 엔진을 하나의 가상 도커 엔진으로 탈바꿈시킨다. 도커 1.12 이상부터 Swarm 모드가 도커 엔진에 통합되어 있다.

1.3 WordPress 란?

2003년 매트 물렌웨그가 개발한 워드프레스는 세계 최대의 오픈 소스 저작물 관리 시스템이며, 워드프레스 기반 웹사이트는 전세계 웹사이트의 30%를 차지한다.

1.4 MySQL 이란?

MySQL은 세계에서 가장 많이 쓰이는 오픈 소스의 관계형 데이터베이스 관리 시스템이다. 다중 스레드, 다중 사용자 형식의 구조질의어 형식의 데이터베이스 관리 시스템으로서 오라클이 관리 및 지원하고 있으며, Qt처럼 이중 라이선스가 적용된다.

1.5 레플리케이션(Replication) 이란?

레플리케이션(Replication)은 데이터 저장과 백업하는 방법과 관련이 있는 데이터를 호스트 컴퓨터에서 다른 컴퓨터로 복사하는 것인데 이때 다른 컴퓨터가 반드시 떨어진 지역에 있어야 하는 것은 아니다. 컴퓨터 네트워크 상태에서는 데이터 저장을 할 수 있게 하는데 로컬 데이터 물리적 기억 장치와는 완전하게 구분된다. 레플리케이션은 유명한 데이터베이스 관리 시스템 (RDBMS, Relational DataBase Management Systems)에서 추가적으로 제공하거나 여러 대의 데이터베이스 서버의 부하를 맞추어 줄 용도로 제공한다.

1.6 텐서플로(TensorFlow) 란?

텐서플로(TensorFlow)는 다양한 작업에 대해 데이터 흐름 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리이다. 심볼릭 수학 라이브러리이자, 인공 신경망같은 기계 학습 응용프로그램에도 사용된다. 이것은 구글내 연구와 제품개발을 위한 목적으로 구글 브레인팀이 만들었고 2015년 11월 9일 아파치 2.0 오픈 소스 라이선스로 공개되었다.

1.7 아파치 하둡(Apache Hadoop) 이란?

아파치 하둡(Apache Hadoop, High-Availability Distributed Object-Oriented Platform)은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크이다. 원래 너치의 분산 처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트이다. 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System)과 맵리듀스를 구현한 것이다.

2. 도커(Docker) 컨테이너 실행 및 사용법

2.1 도커(Docker)는 어떻게 작동 하나?

Docker기술은 Linux 커널과 함께 Cgroups 및 네임스페이스와 같은 커널의 기능을 사용하여 프로세스를 분리함으로써 독립적으로 실행될 수 있도록 합니다. 이러한 독립성은 컨테이너의 본래 목적입니다. 다시 말해서, 여러 프로세스와 애플리케이션을 서로 개별적으로 실행하여 인프라를 더 효과적으로 활용하고 개별 시스템을 사용할 때와 동일한 보안을 유지할 수 있습니다.

Docker를 포함한 컨테이너 툴은 이미지 기반 배포 모델을 제공하므로 여러 환경 전반에서 애플리케이션 또는 서비스를 모든 종속 항목과 손쉽게 공유할 수 있습니다. 또한 Docker는 이 컨테이너 환경 내에서 애플리케이션(또는 앱을 구성하는 결합된 프로세스) 배포를 자동화합니다.

이러한 툴은 Linux 컨테이너를 기반으로 구축되어 Docker를 사용자 친화적이고 고유하게 만들어 주므로 사용자는 그 어느 때보다도 쉽게 앱에 액세스해 빠르게 배포하고 버전 및 버전 배포를 관리할 수 있습니다.

2.2 도커(Docker) 기술이 기존의 Linux 컨테이너와 동일한가?

그렇지 않습니다. Docker 기술은 처음에 LXC 기술을 기반으로 구축되긴 했으나, 그 이후로는 종속 관계를 벗어났습니다. 하지만 대부분의 사용자는 "기존의" Linux 컨테이너와 연결지어 생각하고 있습니다. LXC는 경량의 가상화 방법으로 유용하게 사용되었지만 개발자 또는 사용자에게 우수한 경험을 제공하지는 못했습니다. Docker 기술은 컨테이너를 실행하는 기능 이상의 것을 제공하며 무엇보다도 컨테이너 생성 및 구축, 이미지 전송, 이미지 버전 관리 프로세스를 용이하게 해 줍니다.

전통적인 Linux 컨테이너는 멀티플 프로세스를 관리할 수 있는 초기화 시스템을 사용합니다. 즉, 전체 애플리케이션을 하나로 실행할 수 있습니다. Docker 기술은 애플리케이션이 개별 프로세스로 세분화되도록 하며 이를 수행할 수 있는 툴을 제공합니다. 이 세분화된 접근 방식에는 이점이 있습니다.

2.3 도커(Docker) 컨테이너의 이점은?

2.3.1 모듈성

Docker의 컨테이너화 접근 방식은 전체 애플리케이션을 분해할 필요 없이 애플리케이션의 일부를 분해하고, 업데이트 또는 복구하는 능력에 집중되어 있습니다. 사용자는 이 마이크로서비스 기반 접근 방식 외에도 SOA(service-oriented architecture)의 작동 방식과 동일하게 멀티플 애플리케이션 사이에서 프로세스를 공유할 수 있습니다.

2.3.2 계층 및 이미지 버전 제어

각 Docker 이미지 파일은 일련의 계층으로 이루어져 있으며 이 계층들은 단일 이미지로 결합됩니다. 이미지가 변경될 때 계층이 생성되고, 사용자가 실행 또는 복사와 같은 명령을 지정할 때마다 새 계층이 생성됩니다.

Docker는 새로운 컨테이너를 구축할 때 이러한 계층을 재사용하므로 구축 프로세스가 훨씬 더 빨라집니다. 중간 변경 사항이 이미지 사이에서 공유되므로 속도, 규모, 효율성이 더 개선됩니다. 계층화에는 버전 관리가 내재되어 있으며 새로운 변경 사항이 발생할 때마다 내장 변경 로그가 기본적으로 적용되므로 컨테이너 이미지를 완전히 제어할 수 있습니다.

2.3.3 롤백

계층화에서 가장 유용한 부분은 아마도 롤백 기능일 것입니다. 모든 이미지에는 계층이 있으며, 현재의 이미지 반복이 적절하지 않은 경우 이전 버전으로 롤백하면 됩니다. 이 기능은 애자일(agile) 개발 접근 방식을 지원하며 툴 관점에서 실제로 지속적인 통합 및 연속 배포(Continuous Integration and Deployment, CI/CD)를 수행하는 데 도움을 줍니다.

2.3.4 신속한 배포

새로운 하드웨어를 준비하고, 실행하고, 프로비저닝하고, 사용할 수 있게 하려면 일반적으로 며칠이 소요되었습니다. 많은 노력과 부가적인 업무가 필요하므로 부담도 상당했습니다. Docker 기반 컨테이너는 배포 시간을 몇 초로 단축할 수 있습니다. 각 프로세스에 대한 컨테이너를 생성함으로써 사용자는 유사한 프로세스를 새 앱과 빠르게 공유할 수 있습니다. 또한, 컨테이너를 추가하거나 이동하기 위해 OS를 부팅할 필요가 없으므로 배포 시간이 크게 단축됩니다. 이뿐만 아니라 배포 속도가 빨라 컨테이너에서 생성된 데이터를 비용 효율적으로 쉽게 생성하고 삭제할 수 있고 사용자는 우려를 할 필요가 없습니다.

즉, Docker 기술은 효율성을 중시하며 더 세분화되고 제어 가능한 마이크로서비스 기반 접근 방식입니다.

2.4 도커(docker) 및 도커 컴포즈(docker-compose) 사용 방법

도커 컴포즈(docker-compose)는 컨테이너 실행에 사용되는 옵션과 컨테이너 사이의 의존성을 모두 docker-compose.yml 파일에 저장 하여 컨테이너의 실행 및 설정 관리 한다.

2.4.1 docker-compose 버전 확인

## docker compose 버전확인

$ docker-compose -version
docker-compose version 1.28.5, build c4eb3a1f

2.4.2 docker-compose 실행

## docker-compose.yml 파일이 있는 폴더로 이동 후에 아래와 같이 실행

$ cd ./docker-compose/tenserflow   # docker-compose.yml 이 있는 폴더 이동
$ ls -alh docker-compose.yml   # docker-compose.yml 파일 확인
-rw-r--r-- 1 root root 79100 Apr 19 05:46 docker-compose.yml
$ docker-compose up -d  # docker-compose.yml 에 설정된 컨테이너를 deamon 으로 실행 

2.4.3 docker-compose 중지/재시작

## 중지 할 컨테이너의 설정 값이 있는 docker-compose.yml 파일이 있는 폴더로 이동 후에 아래와 같이 실행

$ cd ./docker-compose/tenserflow   # docker-compose.yml 이 있는 폴더 이동
$ ls -alh docker-compose.yml   # docker-compose.yml 파일 확인
-rw-r--r-- 1 root root 79100 Apr 19 05:46 docker-compose.yml
$ docker-compose restart # docker-compose.yml 에 설정 된 컨테이너 재시작
$ docker-compose down  # docker-compose.yml 에 설정 된 컨테이너 중지     

2.4.4 docker 컨테이너 접속 하기(docker exec -it 사용)

## 실행된 컨테이너에 접속 하기

$ docker ps  # docker 이미지를 보여줌
CONTAINER ID   IMAGE                                  COMMAND                  CREATED       STATUS       PORTS                    NAMES
2f85b4b5942d   tensorflow/tensorflow:latest-jupyter   "bash -c 'source /et…"   2 hours ago   Up 2 hours   0.0.0.0:8888->8888/tcp   tensorflow-jupyter
$ docker exec -it tenserflow-jupyter /bin/bash  # docker exec -it 옵션을 이용하여 /bin/bash 로 접속
root@2f85b4b5942d:/tf#  

2.4.5 docker 컨테이너 logs 확인

## 실행된 컨테이너 Log 확인

$ docker logs -f tenserflow-jupyter # 해당 시스템의 중요 Log 를 보여줌.
[I 05:12:30.229 NotebookApp] Writing notebook server cookie secret to /root/.local/share/jupyter/runtime/notebook_cookie_secret
[I 05:12:30.664 NotebookApp] Serving notebooks from local directory: /tf
[I 05:12:30.665 NotebookApp] Jupyter Notebook 6.2.0 is running at:
[I 05:12:30.665 NotebookApp] http://2f85b4b5942d:8888/?token=3d3c18bfc2ebfe222e8f46245722ed7cfb387f3816398cef
[I 05:12:30.665 NotebookApp]  or http://127.0.0.1:8888/?token=3d3c18bfc2ebfe222e8f46245722ed7cfb387f3816398cef
[I 05:12:30.665 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[C 05:12:30.671 NotebookApp]

    To access the notebook, open this file in a browser:
        file:///root/.local/share/jupyter/runtime/nbserver-1-open.html
    Or copy and paste one of these URLs:
        http://2f85b4b5942d:8888/?token=3d3c18bfc2ebfe222e8f46245722ed7cfb387f3816398cef
     or http://127.0.0.1:8888/?token=3d3c18bfc2ebfe222e8f46245722ed7cfb387f3816398cef

2.5 docker 이미지 형식

태그

설명

latest

바이너리 이미지의 최신 출시입니다. 기본값입니다.

nightly

이미지의 나이틀리 빌드입니다(불안정).

version

바이너리 이미지의 버전을 지정합니다(예: 2.1.0).

devel

개발 환경의 나이틀리 빌드입니다.

아래와 같이 TensorFlow 이미지를 다운로드 할 수 있습니다.

## 다양한 tenserflow 에 대한 이미지 

$ docker pull tensorflow/tensorflow                     # latest stable release
$ docker pull tensorflow/tensorflow:latest-jupyter      # latest stable release Jupyter
$ docker pull tensorflow/tensorflow:nightly-jupyter     # nightly dev release Jupyter
$ docker pull tensorflow/tensorflow:devel-gpu           # nightly dev release w/ GPU support
$ docker pull tensorflow/tensorflow:latest-gpu-jupyter  # latest release w/ GPU support and Jupyter

3. WordPress, MySQL 이용하여 홈페이지 만들기 (1분 완성)

Step 1. 사전 준비 단계

  • 폴더 구조

메인 폴더

서브 폴더

파일

설명

wordpress+mysql5.7

wp

wordpress 소스파일 저장 폴더

mysql

mysql 저장 폴더

docker-compose.yml

docker-compose.yml 설정 파일

Step 2. Docker-compose.yml 설정

docker-compose.yml
version: '2' # 파일 규격 버전
services: # 이 항목 밑에 실행하려는 컨테이너 들을 정의 ( 컴포즈에서 컨테이너 : 서비스 )
 db: # 서비스 명
  image: mysql:5.7 # 사용할 이미지
  container_name: db # 컨테이너 이름 설정
  volumes:
   - ./mysql:/var/lib/mysql
  restart: always 
  ports:
   - "3306:3306" # 접근 포트 설정 (컨테이너 외부:컨테이너 내부)
  environment:
   MYSQL_ROOT_PASSWORD: wp
   MYSQL_DATABASE: wp
   MYSQL_USER: wp
   MYSQL_PASSWORD: wp
 wordpress:
  image: wordpress:latest
  container_name: wordpress
  volumes:
   - ./wp:/var/www/html 
  ports:
   - "8080:80"
  restart: always
  environment:
   WORDPRESS_DB_HOST: db:3306
   WORDPRESS_DB_NAME: wp
   WORDPRESS_DB_USER: wp
   WORDPRESS_DB_PASSWORD: wp

Step 3. Docker-compose 실행 및 중지/재시작

docker-compose 실행
cd .\docker-compose\
cd .\wordpress+mysql5.7\
docker ps
docker-compose.exe up -d
docker ps

Step 4. WordPress 접속 및 설정

크롬에서 localhost:8080 으로 접속   
wordpress 셋팅 후 사용   

4. MySQL Replication 시스템 구성 (5분 완성)

Step 1. 사전 준비 단계

  • 폴더 구조

메인 폴더

서브 폴더

서브 폴더

파일

설명

mysql5.7-ha

master-mysql

master-db mysql 설치, 데이터 파일

slave-mysql

slave-db mysql 설치, 데이터 파일

conf

master-db

config_file.cnf

master-db mysql 설정 파일

slave-db

config_file.cnf

slave-db mysql 설정 파일

docker-compose.yml

docker-compose.yml 설정 파일

  • MySQL Master/Slave 에 config_file.cnf 작성

./conf/master-db/config_file.cnf
[mysqld]
log-bin=mysql-bin
server-id=1

Step 2. Docker-compose.yml 설정

docker-compose.yml
version: '2' # 파일 규격 버전
services: # 이 항목 밑에 실행하려는 컨테이너 들을 정의 ( 컴포즈에서 컨테이너 : 서비스 )
 master-db: # 서비스 명
  image: mysql:5.7 # 사용할 이미지
  container_name: master-db # 컨테이너 이름 설정
  volumes:
   - "./conf/master-db:/etc/mysql/conf.d"
   - "./master-mysql:/var/lib/mysql:rw"
  restart: always 
  #ports:
   #- "3306:3306" # 접근 포트 설정 (컨테이너 외부:컨테이너 내부)
  environment:
   MYSQL_ROOT_PASSWORD: masterpw
   MYSQL_DATABASE: user001db
   MYSQL_USER: user001
   MYSQL_PASSWORD: user001pw
 slave-db:
  image: mysql:5.7
  container_name: slave-db
  volumes:
   - "./conf/slave-db:/etc/mysql/conf.d"
   - "./slave-mysql:/var/lib/mysql:rw"
  restart: always
  links:
   - master-db
  #ports:
   #- "3307:3306"
  environment:
   MYSQL_ROOT_PASSWORD: slavepw
   MYSQL_DATABASE: user001db
   MYSQL_USER: user001
   MYSQL_PASSWORD: user001pw

Step 3. Docker-compose 실행 및 중지/재시작

cd .\docker-compose\
cd .\mysql5.7-ha\
docker ps
docker-compose.exe up -d
docker ps

Step 4. MySQL 설정

  • MySQL 의 master-db 의 계정 설정 및 table, dump 생성

docker exec -it master-db /bin/bash
mysql -u root -p
mysql> use mysql;
mysql> SELECT Host,User,plugin,authentication_string FROM mysql.user; 
mysql> GRANT REPLICATION SLAVE ON . TO 'user001'@'%'; 
mysql> flush privileges; 
  • user001db 의 dump 파일 복사 및 이동, 데이터 확인

$ docker cp master-db:user001_dump.sql . 

Step 5. master-db/slave-db 서버 연결

docker exec -it master-db /bin/bash
mysql -u root -p
mysql> show master status\g

Step 6. MySQL Replication 데이터 확인

$ mysql -u root -p
mysql> use user001db; 
mysql> INSERT INTO user001table VALUES (1);
mysql> select * from user001table;

ETC. Error/Warning 해결 방안

  • master-db 에서 master status 정보가 없을 때

docker exec -it master-db /bin/bash
mysql -u root -p
mysql> SHOW MASTER STATUS\G #MASTER 데이터가 없음    
  • Log 에 server_errno=1236 이 발생 되어 비정상 동작을 할 때

* master-db 또는 slave-db 가 중단 되었을 때 다시 데이터를 연동 하는 방법
docker logs -f slave-db  #로그인 확인    
아래와 같은 에러 발생 
2021-04-14T08:31:54.946584Z 9 [ERROR] Error reading packet from server for channel '': Client requested master to start replication from position > file size (server_errno=1236)
  • MySQL 시작 시 config_file.cnf is ignored worning 발생 시

mysql -u root -p # 실행 시 아래에 config_file.cnf 파일에 대한 ignored 가 발생 로그가 보임
SHOW MASTER STATUS\G #상태 값이 반환 되지 않음

5. TensorFlow 시스템 구축 (1분 완성)

Step 1. 사전 준비 단계

  • 폴더 구조

메인 폴더

서브 폴더

파일

설명

tensorflow

upload

tensorflow 업로드 폴더 지정

result

tensorflow 저장 폴더 지정

tmp

tensorflow 임시 저장 폴더

docker-compose.yml

docker-compose.yml 설정 파일

Step 2. Docker-compose.yml 설정

docker-compose.yml
version: '2' # 파일 규격 버전
services: # 이 항목 밑에 실행하려는 컨테이너 들을 정의 ( 컴포즈에서 컨테이너 : 서비스 )
 tensorflow-jupyter: # 서비스 명
  image: tensorflow/tensorflow:latest-jupyter # 사용할 이미지
  container_name: tensorflow-jupyter # 컨테이너 이름 설정
  volumes:
   - ./tensorflow/result:/tf/tensorflow-tutorials/result # result 폴더에 결과 저장
   - ./tensorflow/upload:/tf/tensorflow-tutorials/upload # upload 폴더
   - ./tensorflow/tmp:/tmp # 임시 파일
  restart: always 
  ports:
   - "8888:8888" # 접근 포트 설정 (컨테이너 외부:컨테이너 내부)

Step 3. Docker-compose 실행 및 중지/재시작

cd ./docker-compose/
cd ./tensorflow/
docker ps 
docker-compose.exe up -d
docker ps

Step 4. TensorFlow 접속 및 확인

docker logs -f tensorflow-jupyter # 실행 후 URL Log 확인    

Step 5. TensorFlow 실행 및 저장

크롬 localhost:8888 접속 후 tensorflow-tutorials 폴더 확인

6. Hadoop 시스템 구축 (5분 완성)

Step 1. 사전 준비 단계

  • 폴더 구조

메인 폴더

서 폴더

서 폴더

파일

설명

hadoop

logs

Hadoop 로그 파일 저장

dfs

name

NameNode 저장 위치

data

DataNode 저장 위치

namesecondary

NameNodeSecondary 저장 위치

docker-compose.yml

docker-compose.yml 설정 파일

Step 2. Docker-compose.yml 설정

docker-compose.yml
version: '2' # 파일 규격 버전
services: # 이 항목 밑에 실행하려는 컨테이너 들을 정의 ( 컴포즈에서 컨테이너 : 서비스 )
 hadoop-dev: # 서비스 명
  image: harisekhon/hadoop-dev # 사용할 이미지
  container_name: hadoop-dev # 컨테이너 이름 설정
  restart: always 
  volumes:
   #- ./hadoop/dfs/name:/tmp/hadoop-root/dfs/name
   #- ./hadoop/dfs/data:/tmp/hadoop-root/dfs/data
   #- ./hadoop/dfs/namesecondary:/tmp/hadoop-root/dfs/namesecondary
   - ./hadoop/logs:/hadoop/logs
  ports:
   - 8042:8042    # node
   - 8088:8088    # cluster

Step 3. Docker-compose 실행 및 중지/재시작

cd ./docker-compose
cd ./hadoop
docker ps
docker-compose up -d
docker ps
docker-compose up -d
Creating network "hadoop_default" with the default driver
Creating hadoop-dev ... done
docker ps
CONTAINER ID   IMAGE                   COMMAND                   CREATED         STATUS          PORTS                                                                                                                                                                                          NAMES
02b2458e15d7   harisekhon/hadoop-dev   "/bin/sh -c \"/entryp…"   8 seconds ago   Up 11 seconds   0.0.0.0:8042->8042/tcp, 8020/tcp, 9000/tcp, 10020/tcp, 19888/tcp, 50010/tcp, 0.0.0.0:8088->8088/tcp, 0.0.0.0:50070->50070/tcp, 0.0.0.0:50075->50075/tcp, 50020/tcp, 0.0.0.0:50090->50090/tcp   hadoop-dev

Step 4. Hadoop 시스템 확인

 크롬으로 localhost:8042 접속    

Step 5. Hadoop 테스트 확인

Hadoop 경로 이동 및 파일 저장(NOTICE.txt)    
docker exec -it hadoop-dev /bin/bash
[root@4bb51d4c894c /]# cd $HADOOP_HOME
[root@4bb51d4c894c hadoop]# ls
bin  etc  include  lib  libexec  LICENSE.txt  logs  NOTICE.txt  README.txt  sbin  share
[root@4bb51d4c894c hadoop]# hadoop fs -mkdir -p /data
[root@4bb51d4c894c hadoop]# hadoop fs -put NOTICE.txt /data
[root@4bb51d4c894c hadoop]# hadoop fs -ls /data
Found 1 items
-rw-r--r--   1 root supergroup      15915 2021-04-21 00:26 /data/NOTICE.txt

Step 6. Hadoop 결과 데이터 동기화

hadoop 시스템을 재시작 하면 결과 값이 초기화 됨
/tmp/hadoop-root/dfs 의 하위 디렉토리를 압축 하여 관리 pc 에 dfs.tar 파일을 이동 
docker exec -it hadoop-dev /bin/bash
[root@6debfd1fd33d]# cd /tmp/hadoop-root/dfs
[root@6debfd1fd33d dfs]# ls
data  name  namesecondary
[root@6debfd1fd33d dfs]# tar -zcvf dfs.tar ./data ./name ./namesecondary
[root@6debfd1fd33d dfs]# ls dfs.tar
dfs.tar
[root@6debfd1fd33d dfs]# exit

PS C:\Users\user1\docker-compose\hadoop\hadoop\dfs>cd ./hadoop/hadoop/dfs
PS C:\Users\user1\docker-compose\hadoop\hadoop\dfs>docker cp hadoop:/tmp/hadoop-root/dfs/dfs.tar .
PS C:\Users\user1\docker-compose\hadoop\hadoop\dfs>tar -zxvf dfs.tar
PS C:\Users\user1\docker-compose\hadoop\hadoop\dfs>ls


    디렉터리: C:\Users\user1\docker-compose\hadoop\hadoop\dfs


Mode                 LastWriteTime         Length Name
----                 -------------         ------ ----
da----      2021-04-21  오전 11:04                data
d-----      2021-04-21  오전 10:12                name
d-----      2021-04-21  오전 10:13                namesecondary

ETC. Error/Worning 해결 방안

  • 데이터가 사라져요!!!

컨테이너 재시작 또는 중지 후 시작 했을 때 데이터가 사라짐    
docker exec -it hadoop-dev /bin/bash
[root@4bb51d4c894c]# hadoop fs -ls  /data_out
Found 2 items
-rw-r--r--   1 root supergroup          0 2021-04-21 00:53 /data_out/_SUCCESS
-rw-r--r--   1 root supergroup         24 2021-04-21 00:53 /data_out/part-r-00000
[root@4bb51d4c894c]# hadoop fs -cat /data_out/*
count   1812
length  13184
[root@4bb51d4c894c]#
## ---> 컨테이너 재시작 또는 중지 후 시작           

부록. Docker 명령어 사용법

1. docker images 검색 방법

Docker Search 검색 방법
$ docker search tomcat
NAME                          DESCRIPTION                                     STARS     OFFICIAL   AUTOMATED
tomcat                        Apache Tomcat is an open source implementati…   3027      [OK]
tomee                         Apache TomEE is an all-Apache Java EE certif…   87        [OK]
dordoka/tomcat                Ubuntu 14.04, Oracle JDK 8 and Tomcat 8 base…   57                   [OK]
bitnami/tomcat                Bitnami Tomcat Docker Image                     37                   [OK]
kubeguide/tomcat-app          Tomcat image for Chapter 1                      30
consol/tomcat-7.0             Tomcat 7.0.57, 8080, "admin/admin"              18                   [OK]
cloudesire/tomcat             Tomcat server, 6/7/8                            15                   [OK]
aallam/tomcat-mysql           Debian, Oracle JDK, Tomcat & MySQL              13                   [OK]
arm32v7/tomcat                Apache Tomcat is an open source implementati…   11
rightctrl/tomcat              CentOS , Oracle Java, tomcat application ssl…   6                    [OK]
unidata/tomcat-docker         Security-hardened Tomcat Docker container.      5                    [OK]
arm64v8/tomcat                Apache Tomcat is an open source implementati…   3
oobsri/tomcat8                Testing CI Jobs with different names.           2
jelastic/tomcat               An image of the Tomcat Java application serv…   2
cfje/tomcat-resource          Tomcat Concourse Resource                       2
amd64/tomcat                  Apache Tomcat is an open source implementati…   2
chenyufeng/tomcat-centos      tomcat基于centos6的镜像                              1                    [OK]
camptocamp/tomcat-logback     Docker image for tomcat with logback integra…   1                    [OK]
picoded/tomcat7               tomcat7 with jre8 and MANAGER_USER / MANAGER…   1                    [OK]
99taxis/tomcat7               Tomcat7                                         1                    [OK]
i386/tomcat                   Apache Tomcat is an open source implementati…   1
ppc64le/tomcat                Apache Tomcat is an open source implementati…   1
secoresearch/tomcat-varnish   Tomcat and Varnish 5.0                          0                    [OK]
softwareplant/tomcat          Tomcat images for jira-cloud testing            0                    [OK]
s390x/tomcat                  Apache Tomcat is an open source implementati…   0

1.2 docker hub 사이트에 방문 하여 검색 하는 방법

1.3 Docker hub 에서 검색한 tomcat 상세 정보

2. docker images 다운 받기

2.1 Docker Pull 명령어를 이용하여 Images 를 다운 받기

Docker Pull 명령어를 이용하여 ubuntu images 를 로컬에 다운(** tag 의 버전을 선택 할 수 있음, 지정하지 않았을땐 latest 버전으로 다운로드 됨)
$ docker pull ubuntu
Using default tag: latest
latest: Pulling from library/ubuntu
345e3491a907: Already exists
57671312ef6f: Already exists
5e9250ddb7d0: Already exists
Digest: sha256:cf31af331f38d1d7158470e095b132acd126a7180a54f263d386da88eb681d93
Status: Downloaded newer image for ubuntu:latest
docker.io/library/ubuntu:latest

3. docker images 확인 방법

3.1 docker images 확인 방

docker images 확인 방법
$ docker images
REPOSITORY                                      TAG                   IMAGE ID       CREATED         SIZE
tomcat                                          latest                c43a65faae57   10 hours ago    667MB
nextcloud                                       latest                a1fe3eba658d   7 days ago      868MB
mongo                                           4.0                   cf8a52aa11b1   7 days ago      430MB
adminer                                         latest                7707fd9b142f   12 days ago     89.8MB
mediawiki                                       latest                0c7cd121c65f   2 weeks ago     785MB
rocket.chat                                     latest                9b447d9edcb3   2 weeks ago     830MB
mariadb                                         10.4.18               37406e27ca2c   2 weeks ago     394MB
mariadb                                         latest                992bce5ed710   2 weeks ago     401MB
bonita                                          latest                aa3e6a88c70e   2 weeks ago     445MB
tomcat                                          <none>                c0e850d7b9bb   3 weeks ago     667MB
tomcat                                          10.0.5-jdk8-openjdk   698d4f634b6a   3 weeks ago     534MB
docker.elastic.co/elasticsearch/elasticsearch   7.12.1                41dc8ea0f139   3 weeks ago     851MB
elasticsearch                                   7.12.1                41dc8ea0f139   3 weeks ago     851MB
tensorflow/tensorflow                           nightly-jupyter       11641d92de28   3 weeks ago     1.47GB
jupyter/tensorflow-notebook                     latest                4325fb762796   3 weeks ago     3.71GB
jetty                                           latest                578b8511e3f6   3 weeks ago     497MB
redis                                           alpine                d6121e6a8ceb   4 weeks ago     32.3MB
wordpress                                       latest                1a226d88524f   4 weeks ago     550MB
ghost                                           latest                804319142d08   4 weeks ago     453MB
postgres                                        10                    76e40881ecc6   4 weeks ago     200MB
mysql                                           5.7                   450379344707   4 weeks ago     449MB
mysql                                           latest                cbe8815cbea8   4 weeks ago     546MB
mongo                                           4                     30b3be246e39   5 weeks ago     449MB
nirmata/tomcat9-alpine-jre12-openj9             latest                c9796dcdd8ae   7 weeks ago     156MB
tensorflow/tensorflow                           latest-jupyter        5cb625714462   3 months ago    1.75GB
tensorflow/tensorflow                           latest                45872ba1e662   3 months ago    1.57GB

3.2 docker history 확인

docker images 의 history 의 내용 확인
$ docker images
REPOSITORY                                      TAG               IMAGE ID       CREATED         SIZE
tomcat                                          latest            c43a65faae57   3 days ago      667MB

$ docker history c43a65faae57 # image의 history 를 확인      
IMAGE          CREATED      CREATED BY                                      SIZE      COMMENT
c43a65faae57   3 days ago   /bin/sh -c #(nop)  CMD ["catalina.sh" "run"]    0B
<missing>      3 days ago   /bin/sh -c #(nop)  EXPOSE 8080                  0B
<missing>      3 days ago   /bin/sh -c set -eux;  nativeLines="$(catalin…   0B
<missing>      3 days ago   /bin/sh -c set -eux;   savedAptMark="$(apt-m…   20.3MB
<missing>      3 days ago   /bin/sh -c #(nop)  ENV TOMCAT_SHA512=4a82ed5…   0B
<missing>      3 days ago   /bin/sh -c #(nop)  ENV TOMCAT_VERSION=9.0.46    0B
<missing>      3 days ago   /bin/sh -c #(nop)  ENV TOMCAT_MAJOR=9           0B
<missing>      3 days ago   /bin/sh -c #(nop)  ENV GPG_KEYS=05AB33110949…   0B
<missing>      3 days ago   /bin/sh -c #(nop)  ENV LD_LIBRARY_PATH=/usr/…   0B
<missing>      3 days ago   /bin/sh -c #(nop)  ENV TOMCAT_NATIVE_LIBDIR=…   0B
<missing>      3 days ago   /bin/sh -c #(nop) WORKDIR /usr/local/tomcat     0B
<missing>      3 days ago   /bin/sh -c mkdir -p "$CATALINA_HOME"            0B
<missing>      3 days ago   /bin/sh -c #(nop)  ENV PATH=/usr/local/tomca…   0B
<missing>      3 days ago   /bin/sh -c #(nop)  ENV CATALINA_HOME=/usr/lo…   0B
<missing>      4 days ago   /bin/sh -c #(nop)  CMD ["jshell"]               0B
<missing>      4 days ago   /bin/sh -c set -eux;   arch="$(dpkg --print-…   342MB
<missing>      4 days ago   /bin/sh -c #(nop)  ENV JAVA_VERSION=11.0.11+9   0B
<missing>      4 days ago   /bin/sh -c #(nop)  ENV LANG=C.UTF-8             0B
<missing>      4 days ago   /bin/sh -c #(nop)  ENV PATH=/usr/local/openj…   0B
<missing>      4 days ago   /bin/sh -c { echo '#/bin/sh'; echo 'echo "$J…   27B
<missing>      4 days ago   /bin/sh -c #(nop)  ENV JAVA_HOME=/usr/local/…   0B
<missing>      4 days ago   /bin/sh -c set -eux;  apt-get update;  apt-g…   11.1MB
<missing>      5 days ago   /bin/sh -c apt-get update && apt-get install…   146MB
<missing>      5 days ago   /bin/sh -c set -ex;  if ! command -v gpg > /…   17.5MB
<missing>      5 days ago   /bin/sh -c set -eux;  apt-get update;  apt-g…   16.5MB
<missing>      5 days ago   /bin/sh -c #(nop)  CMD ["bash"]                 0B
<missing>      5 days ago   /bin/sh -c #(nop) ADD file:1a1eae7a82c66d673…   114MB

4. docker images 삭제

4.1 docker images 를 rmi 또는 rmi -f 로 이미지 삭제(rmi or rmi -f command)

docker rmi 또는 rmi -f 로 이미지 삭제(rmi Command 는 이미지 삭제)
$ docker images
REPOSITORY                                      TAG                   IMAGE ID       CREATED         SIZE
tomcat                                          <none>                c0e850d7b9bb   3 weeks ago     667MB
tomcat                                          10.0.5-jdk8-openjdk   698d4f634b6a   3 weeks ago     534MB

$ docker rmi c0e850d7b9bb # docker image 삭제    
Untagged: tomcat@sha256:0509684774ac53d8b152f4a50dd92889218a8633c0feddb4b35d092e55cd215d
Deleted: sha256:c0e850d7b9bb0aa55db12991bd0fe825cdab4f5d4be72b2a94cc760bcc3aa82f
Deleted: sha256:de48848504882240b92b703da9601af0709e38a64a9a40a07109b78446aa9e95
Deleted: sha256:1a0e354e31a0ab7456bbad4f060ea6c6f7ab7b144dc74c874bf689c7e519e27c
Deleted: sha256:cd25cd758181de964bdfb328f5c630c25263557f5a46793356c93e0e369af7a4
Deleted: sha256:b824ca3e73f4984338fc3eb212702bcadd7770320c8297fc21b2d1d265146d16