도커(Docker)는 리눅스의 응용 프로그램들을 소프트웨어 컨테이너 안에 배치시키는 일을 자동화하는 오픈 소스 프로젝트이다. 도커 컨테이너는 일종의 소프트웨어를 소프트웨어의 실행에 필요한 모든 것을 포함하는 완전한 파일 시스템 안에 감싸며 리눅스에서 운영 체제 수준 가상화의 추상화 및 자동화 계층을 추가적으로 제공한다. 도커는 cgroups와 커널 이름 공간과 같은 리눅스 커널, 또 aufs와 같은 유니언 가능 파일 시스템의 리소스 격리 기능을 사용하며, 이를 통해 독립적인 "컨테이너"가 하나의 리눅스 인스턴스 안에서 실행할 수 있게 함으로써 가상 머신을 시작하여 유지보수 해야 하는 부담을 없애준다.
1.2 도커(docker) 사용 도구
1.2.1 Docker Compose (해당 문서는 이 도구를 사용함)
Compose는 멀티 컨테이너 도커 애플리케이션을 정의하고 실행하는 도구이다. YAML 파일을 사용하여 애플리케이션의 서비스를 구성하며 하나의 명령을 가지고 모든 컨테이너의 생성 및 시작 프로세스를 수행한다.
1.2.2 Docker Swarm
Docker Swarm은 도커 컨테이너의 네이티브 클러스터링 기능을 제공하며 도커 엔진을 하나의 가상 도커 엔진으로 탈바꿈시킨다. 도커 1.12 이상부터 Swarm 모드가 도커 엔진에 통합되어 있다.
1.3 WordPress 란?
2003년 매트 물렌웨그가 개발한 워드프레스는 세계 최대의 오픈 소스 저작물 관리 시스템이며, 워드프레스 기반 웹사이트는 전세계 웹사이트의 30%를 차지한다.
1.4 MySQL 이란?
MySQL은 세계에서 가장 많이 쓰이는 오픈 소스의 관계형 데이터베이스 관리 시스템이다. 다중 스레드, 다중 사용자 형식의 구조질의어 형식의 데이터베이스 관리 시스템으로서 오라클이 관리 및 지원하고 있으며, Qt처럼 이중 라이선스가 적용된다.
1.5 레플리케이션(Replication) 이란?
레플리케이션(Replication)은 데이터 저장과 백업하는 방법과 관련이 있는 데이터를 호스트 컴퓨터에서 다른 컴퓨터로 복사하는 것인데 이때 다른 컴퓨터가 반드시 떨어진 지역에 있어야 하는 것은 아니다. 컴퓨터 네트워크 상태에서는 데이터 저장을 할 수 있게 하는데 로컬 데이터 물리적 기억 장치와는 완전하게 구분된다. 레플리케이션은 유명한 데이터베이스 관리 시스템 (RDBMS, Relational DataBase Management Systems)에서 추가적으로 제공하거나 여러 대의 데이터베이스 서버의 부하를 맞추어 줄 용도로 제공한다.
1.6 텐서플로(TensorFlow) 란?
텐서플로(TensorFlow)는 다양한 작업에 대해 데이터 흐름 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리이다. 심볼릭 수학 라이브러리이자, 인공 신경망같은 기계 학습 응용프로그램에도 사용된다. 이것은 구글내 연구와 제품개발을 위한 목적으로 구글 브레인팀이 만들었고 2015년 11월 9일 아파치 2.0 오픈 소스 라이선스로 공개되었다.
1.7 아파치 하둡(Apache Hadoop) 이란?
아파치 하둡(Apache Hadoop, High-Availability Distributed Object-Oriented Platform)은 대량의 자료를 처리할 수 있는 큰 컴퓨터 클러스터에서 동작하는 분산 응용 프로그램을 지원하는 프리웨어 자바 소프트웨어 프레임워크이다. 원래 너치의 분산 처리를 지원하기 위해 개발된 것으로, 아파치 루씬의 하부 프로젝트이다. 분산처리 시스템인 구글 파일 시스템을 대체할 수 있는 하둡 분산 파일 시스템(HDFS: Hadoop Distributed File System)과 맵리듀스를 구현한 것이다.
2. 도커(Docker) 컨테이너 실행 및 사용법
2.1 도커(Docker)는 어떻게 작동 하나?
Docker기술은 Linux 커널과 함께 Cgroups 및 네임스페이스와 같은 커널의 기능을 사용하여 프로세스를 분리함으로써 독립적으로 실행될 수 있도록 합니다. 이러한 독립성은 컨테이너의 본래 목적입니다. 다시 말해서, 여러 프로세스와 애플리케이션을 서로 개별적으로 실행하여 인프라를 더 효과적으로 활용하고 개별 시스템을 사용할 때와 동일한 보안을 유지할 수 있습니다.
Docker를 포함한 컨테이너 툴은 이미지 기반 배포 모델을 제공하므로 여러 환경 전반에서 애플리케이션 또는 서비스를 모든 종속 항목과 손쉽게 공유할 수 있습니다. 또한 Docker는 이 컨테이너 환경 내에서 애플리케이션(또는 앱을 구성하는 결합된 프로세스) 배포를 자동화합니다.
이러한 툴은 Linux 컨테이너를 기반으로 구축되어 Docker를 사용자 친화적이고 고유하게 만들어 주므로 사용자는 그 어느 때보다도 쉽게 앱에 액세스해 빠르게 배포하고 버전 및 버전 배포를 관리할 수 있습니다.
2.2 도커(Docker) 기술이 기존의 Linux 컨테이너와 동일한가?
그렇지 않습니다. Docker 기술은 처음에 LXC 기술을 기반으로 구축되긴 했으나, 그 이후로는 종속 관계를 벗어났습니다. 하지만 대부분의 사용자는 "기존의" Linux 컨테이너와 연결지어 생각하고 있습니다. LXC는 경량의 가상화 방법으로 유용하게 사용되었지만 개발자 또는 사용자에게 우수한 경험을 제공하지는 못했습니다. Docker 기술은 컨테이너를 실행하는 기능 이상의 것을 제공하며 무엇보다도 컨테이너 생성 및 구축, 이미지 전송, 이미지 버전 관리 프로세스를 용이하게 해 줍니다.
전통적인 Linux 컨테이너는 멀티플 프로세스를 관리할 수 있는 초기화 시스템을 사용합니다. 즉, 전체 애플리케이션을 하나로 실행할 수 있습니다. Docker 기술은 애플리케이션이 개별 프로세스로 세분화되도록 하며 이를 수행할 수 있는 툴을 제공합니다. 이 세분화된 접근 방식에는 이점이 있습니다.
2.3 도커(Docker) 컨테이너의 이점은?
2.3.1 모듈성
Docker의 컨테이너화 접근 방식은 전체 애플리케이션을 분해할 필요 없이 애플리케이션의 일부를 분해하고, 업데이트 또는 복구하는 능력에 집중되어 있습니다. 사용자는 이 마이크로서비스 기반 접근 방식 외에도 SOA(service-oriented architecture)의 작동 방식과 동일하게 멀티플 애플리케이션 사이에서 프로세스를 공유할 수 있습니다.
2.3.2 계층 및 이미지 버전 제어
각 Docker 이미지 파일은 일련의 계층으로 이루어져 있으며 이 계층들은 단일 이미지로 결합됩니다. 이미지가 변경될 때 계층이 생성되고, 사용자가 실행 또는 복사와 같은 명령을 지정할 때마다 새 계층이 생성됩니다.
Docker는 새로운 컨테이너를 구축할 때 이러한 계층을 재사용하므로 구축 프로세스가 훨씬 더 빨라집니다. 중간 변경 사항이 이미지 사이에서 공유되므로 속도, 규모, 효율성이 더 개선됩니다. 계층화에는 버전 관리가 내재되어 있으며 새로운 변경 사항이 발생할 때마다 내장 변경 로그가 기본적으로 적용되므로 컨테이너 이미지를 완전히 제어할 수 있습니다.
새로운 하드웨어를 준비하고, 실행하고, 프로비저닝하고, 사용할 수 있게 하려면 일반적으로 며칠이 소요되었습니다. 많은 노력과 부가적인 업무가 필요하므로 부담도 상당했습니다. Docker 기반 컨테이너는 배포 시간을 몇 초로 단축할 수 있습니다. 각 프로세스에 대한 컨테이너를 생성함으로써 사용자는 유사한 프로세스를 새 앱과 빠르게 공유할 수 있습니다. 또한, 컨테이너를 추가하거나 이동하기 위해 OS를 부팅할 필요가 없으므로 배포 시간이 크게 단축됩니다. 이뿐만 아니라 배포 속도가 빨라 컨테이너에서 생성된 데이터를 비용 효율적으로 쉽게 생성하고 삭제할 수 있고 사용자는 우려를 할 필요가 없습니다.
즉, Docker 기술은 효율성을 중시하며 더 세분화되고 제어 가능한 마이크로서비스 기반 접근 방식입니다.
2.4 도커(docker) 및 도커 컴포즈(docker-compose) 사용 방법
도커 컴포즈(docker-compose)는 컨테이너 실행에 사용되는 옵션과 컨테이너 사이의 의존성을 모두 docker-compose.yml 파일에 저장 하여 컨테이너의 실행 및 설정 관리 한다.
## docker-compose.yml 파일이 있는 폴더로 이동 후에 아래와 같이 실행$cd./docker-compose/tenserflow# docker-compose.yml 이 있는 폴더 이동$ls-alhdocker-compose.yml# docker-compose.yml 파일 확인-rw-r--r--1rootroot79100Apr1905:46docker-compose.yml$docker-composeup-d# docker-compose.yml 에 설정된 컨테이너를 deamon 으로 실행
2.4.3 docker-compose 중지/재시작
## 중지 할 컨테이너의 설정 값이 있는 docker-compose.yml 파일이 있는 폴더로 이동 후에 아래와 같이 실행$cd./docker-compose/tenserflow# docker-compose.yml 이 있는 폴더 이동$ls-alhdocker-compose.yml# docker-compose.yml 파일 확인-rw-r--r--1rootroot79100Apr1905:46docker-compose.yml$docker-composerestart# docker-compose.yml 에 설정 된 컨테이너 재시작$docker-composedown# docker-compose.yml 에 설정 된 컨테이너 중지
2.4.4 docker 컨테이너 접속 하기(docker exec -it 사용)
## 실행된 컨테이너에 접속 하기$dockerps# docker 이미지를 보여줌CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
2f85b4b5942d tensorflow/tensorflow:latest-jupyter "bash -c 'source /et…" 2 hours ago Up 2 hours 0.0.0.0:8888->8888/tcp tensorflow-jupyter
$dockerexec-ittenserflow-jupyter/bin/bash# docker exec -it 옵션을 이용하여 /bin/bash 로 접속root@2f85b4b5942d:/tf#
2.4.5 docker 컨테이너 logs 확인
## 실행된 컨테이너 Log 확인$dockerlogs-ftenserflow-jupyter# 해당 시스템의 중요 Log 를 보여줌.[I 05:12:30.229 NotebookApp] Writing notebook server cookie secret to /root/.local/share/jupyter/runtime/notebook_cookie_secret
[I 05:12:30.664 NotebookApp] Serving notebooks from local directory: /tf[I 05:12:30.665 NotebookApp] Jupyter Notebook 6.2.0 is running at:[I 05:12:30.665 NotebookApp] http://2f85b4b5942d:8888/?token=3d3c18bfc2ebfe222e8f46245722ed7cfb387f3816398cef[I 05:12:30.665 NotebookApp] or http://127.0.0.1:8888/?token=3d3c18bfc2ebfe222e8f46245722ed7cfb387f3816398cef[I 05:12:30.665 NotebookApp] Use Control-C to stop this server and shut down all kernels (twicetoskipconfirmation).[C 05:12:30.671 NotebookApp]Toaccessthenotebook,openthisfileinabrowser:file:///root/.local/share/jupyter/runtime/nbserver-1-open.htmlOrcopyandpasteoneoftheseURLs:http://2f85b4b5942d:8888/?token=3d3c18bfc2ebfe222e8f46245722ed7cfb387f3816398ceforhttp://127.0.0.1:8888/?token=3d3c18bfc2ebfe222e8f46245722ed7cfb387f3816398cef
2.5 docker 이미지 형식
아래와 같이 TensorFlow 이미지를 다운로드 할 수 있습니다.
## 다양한 tenserflow 에 대한 이미지 $dockerpulltensorflow/tensorflow# latest stable release$dockerpulltensorflow/tensorflow:latest-jupyter# latest stable release Jupyter$dockerpulltensorflow/tensorflow:nightly-jupyter# nightly dev release Jupyter$dockerpulltensorflow/tensorflow:devel-gpu# nightly dev release w/ GPU support$dockerpulltensorflow/tensorflow:latest-gpu-jupyter# latest release w/ GPU support and Jupyter
3. WordPress, MySQL 이용하여 홈페이지 만들기 (1분 완성)
Step 1. 사전 준비 단계
폴더 구조
Step 2. Docker-compose.yml 설정
docker-compose.yml
version: '2' # 파일 규격 버전
services: # 이 항목 밑에 실행하려는 컨테이너 들을 정의 ( 컴포즈에서 컨테이너 : 서비스 )
db: # 서비스 명
image: mysql:5.7 # 사용할 이미지
container_name: db # 컨테이너 이름 설정
volumes:
- ./mysql:/var/lib/mysql
restart: always
ports:
- "3306:3306" # 접근 포트 설정 (컨테이너 외부:컨테이너 내부)
environment:
MYSQL_ROOT_PASSWORD: wp
MYSQL_DATABASE: wp
MYSQL_USER: wp
MYSQL_PASSWORD: wp
wordpress:
image: wordpress:latest
container_name: wordpress
volumes:
- ./wp:/var/www/html
ports:
- "8080:80"
restart: always
environment:
WORDPRESS_DB_HOST: db:3306
WORDPRESS_DB_NAME: wp
WORDPRESS_DB_USER: wp
WORDPRESS_DB_PASSWORD: wp
dockerexec-itmaster-db/bin/bashmysql-uroot-pmysql> SHOWMASTERSTATUS\G #MASTER 데이터가 없음
dockerlogs-fmaster-db#에러 또는 오류 메시지 확인 docker-compose.yml파일에서volumes:에경로를확인mysql5.7-ha/conf폴더에master-db,slave-db에config_file.cnf파일및데이터확인master-db와slave-db에config_file.cnf파일확인
* master-db 또는 slave-db 가 중단 되었을 때 다시 데이터를 연동 하는 방법dockerlogs-fslave-db#로그인 확인 아래와같은에러발생시2021-04-14T08:31:54.946584Z 9 [ERROR] Error reading packet from server for channel '': Client requested master to start replication from position > file size (server_errno=1236)
dockerexec-itslave-db/bin/bashmysql-uroot-p# 설정값을 확인 후 STOPSLAVE; RESETSLAVE; CHANGE MASTER TO MASTER_HOST='master-db', MASTER_USER='user001', MASTER_PASSWORD='user001pw', MASTER_LOG_FILE='mysql-bin.000010', MASTER_LOG_POS=154;
STARTSLAVE; SHOWSLAVESTATUS\G
MySQL 시작 시 config_file.cnf is ignored worning 발생 시
mysql-uroot-p# 실행 시 아래에 config_file.cnf 파일에 대한 ignored 가 발생 로그가 보임SHOWMASTERSTATUS\G #상태 값이 반환 되지 않음
cd/etc/mysql/conf.d#폴더 이동ls-alconfig_file.cnf#파일은 (644) 권한 필요chmod644config_file.cnf#실행 하여 권한을 변경 함.** docker-compose.yml 파일에 volumes 에 config_file.cnf 경로를 다시 한번 확인 해야 함.
5. TensorFlow 시스템 구축 (1분 완성)
Step 1. 사전 준비 단계
폴더 구조
Step 2. Docker-compose.yml 설정
docker-compose.yml
version: '2' # 파일 규격 버전
services: # 이 항목 밑에 실행하려는 컨테이너 들을 정의 ( 컴포즈에서 컨테이너 : 서비스 )
tensorflow-jupyter: # 서비스 명
image: tensorflow/tensorflow:latest-jupyter # 사용할 이미지
container_name: tensorflow-jupyter # 컨테이너 이름 설정
volumes:
- ./tensorflow/result:/tf/tensorflow-tutorials/result # result 폴더에 결과 저장
- ./tensorflow/upload:/tf/tensorflow-tutorials/upload # upload 폴더
- ./tensorflow/tmp:/tmp # 임시 파일
restart: always
ports:
- "8888:8888" # 접근 포트 설정 (컨테이너 외부:컨테이너 내부)
docker logs -f tensorflow-jupyter # 실행 후 URL Log 확인
Docker 로그를 통해 token 을 이용하 크롬에 접속
크롬에 URL 을 정상적으로 입력 하면 아래와 같은 화면을 볼 수 있음
Step 5. TensorFlow 실행 및 저장
크롬 localhost:8888 접속 후 tensorflow-tutorials 폴더 확인
ipynb 파일 클릭 후 아래와 같이 확인
상단에 Run or restart 버튼을 클
Main 화면에서 Upload 버튼 클릭 후 파일 선택
업로드 후에 2번과 같이 진행
진행 결과 확인
결과 확인(Running) 및 파일 저장(File > Save as)
6. Hadoop 시스템 구축 (5분 완성)
Step 1. 사전 준비 단계
폴더 구조
Step 2. Docker-compose.yml 설정
docker-compose.yml
version: '2' # 파일 규격 버전
services: # 이 항목 밑에 실행하려는 컨테이너 들을 정의 ( 컴포즈에서 컨테이너 : 서비스 )
hadoop-dev: # 서비스 명
image: harisekhon/hadoop-dev # 사용할 이미지
container_name: hadoop-dev # 컨테이너 이름 설정
restart: always
volumes:
#- ./hadoop/dfs/name:/tmp/hadoop-root/dfs/name
#- ./hadoop/dfs/data:/tmp/hadoop-root/dfs/data
#- ./hadoop/dfs/namesecondary:/tmp/hadoop-root/dfs/namesecondary
- ./hadoop/logs:/hadoop/logs
ports:
- 8042:8042 # node
- 8088:8088 # cluster
Step 3. Docker-compose 실행 및 중지/재시작
cd ./docker-compose
cd ./hadoop
docker ps
docker-compose up -d
docker ps
docker-compose up -d
Creating network "hadoop_default" with the default driver
Creating hadoop-dev ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
02b2458e15d7 harisekhon/hadoop-dev "/bin/sh -c \"/entryp…" 8 seconds ago Up 11 seconds 0.0.0.0:8042->8042/tcp, 8020/tcp, 9000/tcp, 10020/tcp, 19888/tcp, 50010/tcp, 0.0.0.0:8088->8088/tcp, 0.0.0.0:50070->50070/tcp, 0.0.0.0:50075->50075/tcp, 50020/tcp, 0.0.0.0:50090->50090/tcp hadoop-dev
cd ./docker-compose
cd ./hadoop
docker ps
docker-compose down
docker ps
docker-compose down
Stopping hadoop-dev ... done
Removing hadoop-dev ... done
Removing network hadoop_default
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
cd ./docker-compose
cd ./hadoop
docker ps
docker-compose restart
docker ps
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d33193820d6c harisekhon/hadoop-dev "/bin/sh -c \"/entryp…" Less than a second ago Up 3 seconds 0.0.0.0:8042->8042/tcp, 8020/tcp, 9000/tcp, 10020/tcp, 19888/tcp, 50010/tcp, 0.0.0.0:8088->8088/tcp, 0.0.0.0:50070->50070/tcp, 0.0.0.0:50075->50075/tcp, 50020/tcp, 0.0.0.0:50090->50090/tcp hadoop-dev
docker-compose restart
Restarting hadoop-dev ... done
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d33193820d6c harisekhon/hadoop-dev "/bin/sh -c \"/entryp…" 25 seconds ago Up 4 seconds 0.0.0.0:8042->8042/tcp, 8020/tcp, 9000/tcp, 10020/tcp, 19888/tcp, 50010/tcp, 0.0.0.0:8088->8088/tcp, 0.0.0.0:50070->50070/tcp, 0.0.0.0:50075->50075/tcp, 50020/tcp, 0.0.0.0:50090->50090/tcp hadoop-dev
Hadoop Sample 테스트 실행
hadoop-mapreduce-examples-2.9.0.jar 의 파라미터(wordmean) 이용하여 NOTICE.txt 파일의 단어와 글자수를 계산
docker exec -it hadoop-dev /bin/bash
[root@4bb51d4c894c]# cd /hadoop/share/hadoop/mapreduce
[root@4bb51d4c894c mapreduce]# ls
hadoop-mapreduce-client-app-2.9.0.jar hadoop-mapreduce-client-hs-plugins-2.9.0.jar hadoop-mapreduce-examples-2.9.0.jar sources
hadoop-mapreduce-client-common-2.9.0.jar hadoop-mapreduce-client-jobclient-2.9.0.jar jdiff
hadoop-mapreduce-client-core-2.9.0.jar hadoop-mapreduce-client-jobclient-2.9.0-tests.jar lib
hadoop-mapreduce-client-hs-2.9.0.jar hadoop-mapreduce-client-shuffle-2.9.0.jar lib-examples
[root@4bb51d4c894c mapreduce]# hadoop jar hadoop-mapreduce-examples-2.9.0.jar
Valid program names are:
aggregatewordcount: An Aggregate based map/reduce program that counts the words in the input files.
aggregatewordhist: An Aggregate based map/reduce program that computes the histogram of the words in the input files.
bbp: A map/reduce program that uses Bailey-Borwein-Plouffe to compute exact digits of Pi.
dbcount: An example job that count the pageview counts from a database.
distbbp: A map/reduce program that uses a BBP-type formula to compute exact bits of Pi.
grep: A map/reduce program that counts the matches of a regex in the input.
join: A job that effects a join over sorted, equally partitioned datasets
multifilewc: A job that counts words from several files.
pentomino: A map/reduce tile laying program to find solutions to pentomino problems.
pi: A map/reduce program that estimates Pi using a quasi-Monte Carlo method.
randomtextwriter: A map/reduce program that writes 10GB of random textual data per node.
randomwriter: A map/reduce program that writes 10GB of random data per node.
secondarysort: An example defining a secondary sort to the reduce.
sort: A map/reduce program that sorts the data written by the random writer.
sudoku: A sudoku solver.
teragen: Generate data for the terasort
terasort: Run the terasort
teravalidate: Checking results of terasort
wordcount: A map/reduce program that counts the words in the input files.
wordmean: A map/reduce program that counts the average length of the words in the input files.
wordmedian: A map/reduce program that counts the median length of the words in the input files.
wordstandarddeviation: A map/reduce program that counts the standard deviation of the length of the words in the input files.
[root@4bb51d4c894c mapreduce]# hadoop jar hadoop-mapreduce-examples-2.9.0.jar wordmean /data /data_out
21/04/21 00:52:37 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:8032
21/04/21 00:52:38 INFO input.FileInputFormat: Total input files to process : 1
21/04/21 00:52:38 INFO mapreduce.JobSubmitter: number of splits:1
21/04/21 00:52:38 INFO Configuration.deprecation: yarn.resourcemanager.system-metrics-publisher.enabled is deprecated. Instead, use yarn.system-metrics-publisher.enabled
21/04/21 00:52:38 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1618964082934_0001
21/04/21 00:52:39 INFO impl.YarnClientImpl: Submitted application application_1618964082934_0001
21/04/21 00:52:39 INFO mapreduce.Job: The url to track the job: http://4bb51d4c894c:8088/proxy/application_1618964082934_0001/
21/04/21 00:52:39 INFO mapreduce.Job: Running job: job_1618964082934_0001
21/04/21 00:52:50 INFO mapreduce.Job: Job job_1618964082934_0001 running in uber mode : false
21/04/21 00:52:50 INFO mapreduce.Job: map 0% reduce 0%
21/04/21 00:52:58 INFO mapreduce.Job: map 100% reduce 0%
21/04/21 00:53:04 INFO mapreduce.Job: map 100% reduce 100%
21/04/21 00:53:04 INFO mapreduce.Job: Job job_1618964082934_0001 completed successfully
21/04/21 00:53:04 INFO mapreduce.Job: Counters: 49
File System Counters
FILE: Number of bytes read=39
FILE: Number of bytes written=403473
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
HDFS: Number of bytes read=16020
HDFS: Number of bytes written=24
HDFS: Number of read operations=6
HDFS: Number of large read operations=0
HDFS: Number of write operations=2
Job Counters
Launched map tasks=1
Launched reduce tasks=1
Data-local map tasks=1
Total time spent by all maps in occupied slots (ms)=4347
Total time spent by all reduces in occupied slots (ms)=3565
Total time spent by all map tasks (ms)=4347
Total time spent by all reduce tasks (ms)=3565
Total vcore-milliseconds taken by all map tasks=4347
Total vcore-milliseconds taken by all reduce tasks=3565
Total megabyte-milliseconds taken by all map tasks=4451328
Total megabyte-milliseconds taken by all reduce tasks=3650560
Map-Reduce Framework
Map input records=455
Map output records=3624
Map output bytes=52548
Map output materialized bytes=39
Input split bytes=105
Combine input records=3624
Combine output records=2
Reduce input groups=2
Reduce shuffle bytes=39
Reduce input records=2
Reduce output records=2
Spilled Records=4
Shuffled Maps =1
Failed Shuffles=0
Merged Map outputs=1
GC time elapsed (ms)=205
CPU time spent (ms)=1500
Physical memory (bytes) snapshot=504504320
Virtual memory (bytes) snapshot=4011933696
Total committed heap usage (bytes)=347602944
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=15915
File Output Format Counters
Bytes Written=24
The mean is: 7.2759381898454745
[root@4bb51d4c894c mapreduce]#
docker logs -f hadoop-dev (hadoop-dev log 확인)
docker-compose.yml 의 volumes 파라미터 경로 확인
hadoop-dev log 확인
PS C:\Users\user1\docker-compose\hadoop>docker logs -f hadoop-dev
Generating public/private rsa key pair.
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:L9lYtwzxrlF6HqevI8yaUlXhuoihLxHNrwIMXjv1Yow root@2d5becf8894f
The key's randomart image is:
+---[RSA 1024]----+
| .. |
| .. |
| o ... |
|. ...o .+ |
|.o. =.o.S.+ + |
| .oE.= +oB O . |
| .+.oo=o* * . |
| o.o o+=.+ |
| o..o...++. |
+----[SHA256]-----+
'/root/.ssh/id_rsa.pub' -> '/root/.ssh/authorized_keys'
mode of '/root/.ssh/authorized_keys' changed from 0644 (rw-r--r--) to 0400 (r--------)
Generating SSH2 RSA host key: [ OK ]
Generating SSH2 ECDSA host key: [ OK ]
Generating SSH2 ED25519 host key: [ OK ]
docker-compose.yml 의 volumes 경로 확인
version: '2' # 파일 규격 버전
services: # 이 항목 밑에 실행하려는 컨테이너 들을 정의 ( 컴포즈에서 컨테이너 : 서비스 )
hadoop-dev: # 서비스 명
image: harisekhon/hadoop-dev # 사용할 이미지
container_name: hadoop-dev # 컨테이너 이름 설정
restart: always
volumes:
- ./hadoop/dfs/name:/tmp/hadoop-root/dfs/name
- ./hadoop/dfs/data:/tmp/hadoop-root/dfs/data
- ./hadoop/dfs/namesecondary:/tmp/hadoop-root/dfs/namesecondary
- ./hadoop/logs:/hadoop/logs
ports:
- 8042:8042 # node
- 8088:8088 # cluster
- 50070:50070 # dfshealth
- 50075:50075 # datanode
- 50090:50090 # status
docker-compose.yml 파일을 다운로드 받아서 시작
Step 6 를 다시 한번 해 본다
부록. Docker 명령어 사용법
1. docker images 검색 방법
1.1 Docker search 를 이용한 방법
Docker Search 검색 방법
$ docker search tomcat
NAME DESCRIPTION STARS OFFICIAL AUTOMATED
tomcat Apache Tomcat is an open source implementati… 3027 [OK]
tomee Apache TomEE is an all-Apache Java EE certif… 87 [OK]
dordoka/tomcat Ubuntu 14.04, Oracle JDK 8 and Tomcat 8 base… 57 [OK]
bitnami/tomcat Bitnami Tomcat Docker Image 37 [OK]
kubeguide/tomcat-app Tomcat image for Chapter 1 30
consol/tomcat-7.0 Tomcat 7.0.57, 8080, "admin/admin" 18 [OK]
cloudesire/tomcat Tomcat server, 6/7/8 15 [OK]
aallam/tomcat-mysql Debian, Oracle JDK, Tomcat & MySQL 13 [OK]
arm32v7/tomcat Apache Tomcat is an open source implementati… 11
rightctrl/tomcat CentOS , Oracle Java, tomcat application ssl… 6 [OK]
unidata/tomcat-docker Security-hardened Tomcat Docker container. 5 [OK]
arm64v8/tomcat Apache Tomcat is an open source implementati… 3
oobsri/tomcat8 Testing CI Jobs with different names. 2
jelastic/tomcat An image of the Tomcat Java application serv… 2
cfje/tomcat-resource Tomcat Concourse Resource 2
amd64/tomcat Apache Tomcat is an open source implementati… 2
chenyufeng/tomcat-centos tomcat基于centos6的镜像 1 [OK]
camptocamp/tomcat-logback Docker image for tomcat with logback integra… 1 [OK]
picoded/tomcat7 tomcat7 with jre8 and MANAGER_USER / MANAGER… 1 [OK]
99taxis/tomcat7 Tomcat7 1 [OK]
i386/tomcat Apache Tomcat is an open source implementati… 1
ppc64le/tomcat Apache Tomcat is an open source implementati… 1
secoresearch/tomcat-varnish Tomcat and Varnish 5.0 0 [OK]
softwareplant/tomcat Tomcat images for jira-cloud testing 0 [OK]
s390x/tomcat Apache Tomcat is an open source implementati… 0
1.2 docker hub 사이트에 방문 하여 검색 하는 방법
1.3 Docker hub 에서 검색한 tomcat 상세 정보
2. docker images 다운 받기
2.1 Docker Pull 명령어를 이용하여 Images 를 다운 받기
Docker Pull 명령어를 이용하여 ubuntu images 를 로컬에 다운(** tag 의 버전을 선택 할 수 있음, 지정하지 않았을땐 latest 버전으로 다운로드 됨)
$ docker pull ubuntu
Using default tag: latest
latest: Pulling from library/ubuntu
345e3491a907: Already exists
57671312ef6f: Already exists
5e9250ddb7d0: Already exists
Digest: sha256:cf31af331f38d1d7158470e095b132acd126a7180a54f263d386da88eb681d93
Status: Downloaded newer image for ubuntu:latest
docker.io/library/ubuntu:latest
3. docker images 확인 방법
3.1 docker images 확인 방
docker images 확인 방법
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
tomcat latest c43a65faae57 10 hours ago 667MB
nextcloud latest a1fe3eba658d 7 days ago 868MB
mongo 4.0 cf8a52aa11b1 7 days ago 430MB
adminer latest 7707fd9b142f 12 days ago 89.8MB
mediawiki latest 0c7cd121c65f 2 weeks ago 785MB
rocket.chat latest 9b447d9edcb3 2 weeks ago 830MB
mariadb 10.4.18 37406e27ca2c 2 weeks ago 394MB
mariadb latest 992bce5ed710 2 weeks ago 401MB
bonita latest aa3e6a88c70e 2 weeks ago 445MB
tomcat <none> c0e850d7b9bb 3 weeks ago 667MB
tomcat 10.0.5-jdk8-openjdk 698d4f634b6a 3 weeks ago 534MB
docker.elastic.co/elasticsearch/elasticsearch 7.12.1 41dc8ea0f139 3 weeks ago 851MB
elasticsearch 7.12.1 41dc8ea0f139 3 weeks ago 851MB
tensorflow/tensorflow nightly-jupyter 11641d92de28 3 weeks ago 1.47GB
jupyter/tensorflow-notebook latest 4325fb762796 3 weeks ago 3.71GB
jetty latest 578b8511e3f6 3 weeks ago 497MB
redis alpine d6121e6a8ceb 4 weeks ago 32.3MB
wordpress latest 1a226d88524f 4 weeks ago 550MB
ghost latest 804319142d08 4 weeks ago 453MB
postgres 10 76e40881ecc6 4 weeks ago 200MB
mysql 5.7 450379344707 4 weeks ago 449MB
mysql latest cbe8815cbea8 4 weeks ago 546MB
mongo 4 30b3be246e39 5 weeks ago 449MB
nirmata/tomcat9-alpine-jre12-openj9 latest c9796dcdd8ae 7 weeks ago 156MB
tensorflow/tensorflow latest-jupyter 5cb625714462 3 months ago 1.75GB
tensorflow/tensorflow latest 45872ba1e662 3 months ago 1.57GB
3.2 docker history 확인
docker images 의 history 의 내용 확인
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
tomcat latest c43a65faae57 3 days ago 667MB
$ docker history c43a65faae57 # image의 history 를 확인
IMAGE CREATED CREATED BY SIZE COMMENT
c43a65faae57 3 days ago /bin/sh -c #(nop) CMD ["catalina.sh" "run"] 0B
<missing> 3 days ago /bin/sh -c #(nop) EXPOSE 8080 0B
<missing> 3 days ago /bin/sh -c set -eux; nativeLines="$(catalin… 0B
<missing> 3 days ago /bin/sh -c set -eux; savedAptMark="$(apt-m… 20.3MB
<missing> 3 days ago /bin/sh -c #(nop) ENV TOMCAT_SHA512=4a82ed5… 0B
<missing> 3 days ago /bin/sh -c #(nop) ENV TOMCAT_VERSION=9.0.46 0B
<missing> 3 days ago /bin/sh -c #(nop) ENV TOMCAT_MAJOR=9 0B
<missing> 3 days ago /bin/sh -c #(nop) ENV GPG_KEYS=05AB33110949… 0B
<missing> 3 days ago /bin/sh -c #(nop) ENV LD_LIBRARY_PATH=/usr/… 0B
<missing> 3 days ago /bin/sh -c #(nop) ENV TOMCAT_NATIVE_LIBDIR=… 0B
<missing> 3 days ago /bin/sh -c #(nop) WORKDIR /usr/local/tomcat 0B
<missing> 3 days ago /bin/sh -c mkdir -p "$CATALINA_HOME" 0B
<missing> 3 days ago /bin/sh -c #(nop) ENV PATH=/usr/local/tomca… 0B
<missing> 3 days ago /bin/sh -c #(nop) ENV CATALINA_HOME=/usr/lo… 0B
<missing> 4 days ago /bin/sh -c #(nop) CMD ["jshell"] 0B
<missing> 4 days ago /bin/sh -c set -eux; arch="$(dpkg --print-… 342MB
<missing> 4 days ago /bin/sh -c #(nop) ENV JAVA_VERSION=11.0.11+9 0B
<missing> 4 days ago /bin/sh -c #(nop) ENV LANG=C.UTF-8 0B
<missing> 4 days ago /bin/sh -c #(nop) ENV PATH=/usr/local/openj… 0B
<missing> 4 days ago /bin/sh -c { echo '#/bin/sh'; echo 'echo "$J… 27B
<missing> 4 days ago /bin/sh -c #(nop) ENV JAVA_HOME=/usr/local/… 0B
<missing> 4 days ago /bin/sh -c set -eux; apt-get update; apt-g… 11.1MB
<missing> 5 days ago /bin/sh -c apt-get update && apt-get install… 146MB
<missing> 5 days ago /bin/sh -c set -ex; if ! command -v gpg > /… 17.5MB
<missing> 5 days ago /bin/sh -c set -eux; apt-get update; apt-g… 16.5MB
<missing> 5 days ago /bin/sh -c #(nop) CMD ["bash"] 0B
<missing> 5 days ago /bin/sh -c #(nop) ADD file:1a1eae7a82c66d673… 114MB
4. docker images 삭제
4.1 docker images 를 rmi 또는 rmi -f 로 이미지 삭제(rmi or rmi -f command)
docker rmi 또는 rmi -f 로 이미지 삭제(rmi Command 는 이미지 삭제)
5.1 docker container 실행 및 접속 방법(run/attach command :: -it[Shell connect], -d[background])
docker run 으로 실행(run Command 는 컨테이너 실행)
$ docker run -it ubuntu /bin/bash # ubuntu 실행 후 bash 접속
root@611214af2b73:/# exit
$ docker ps # docker container 가 실행 중인 리스트
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
eeef4fb61940 ubuntu "/bin/bash" 4 seconds ago Up 3 seconds suspicious_cerf
$ docker ps -a # docker container 의 종료된 리스트 확인
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
eeef4fb61940 ubuntu "/bin/bash" 8 seconds ago Exited (0) 6 seconds ago suspicious_cerf
docker run 으로 실행(run Command 는 컨테이너 실행)
$ docker run -d ubuntu # ubuntu 를 Background 실행
$ docker ps # docker container 가 실행 중인 리스트
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
eeef4fb61940 ubuntu "/bin/bash" 4 seconds ago Up 3 seconds suspicious_cerf
$ docker exec -it eeef4fb61940 /bin/bash # 실행 된 container 에 bash 로 접속
root@611214af2b73:/# exit
실행 중인 container 에 접속
$ docker attach eeef4fb61940 # 실행 중인 container 에 접속하기
root@611214af2b73:/# exit
5.2 docker container 실행 방법(start command)
docker start 로 실행(start Command 는 종료된 컨테이너 실행)
$ docker ps -a # 종료된 컨테이너 검색
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
80d50a1f66e3 ubuntu "/bin/bash" 7 minutes ago Exited (0) 7 minutes ago vibrant_bouman
$ docker start 80d50a1f66e3 # 종료된 컨테이너 실행
80d50a1f66e3
$ docker ps # 실행 완료 후 종료
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
$ docker ps -a # 종료된 컨테이너 상태 확인
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
80d50a1f66e3 ubuntu "/bin/bash" 7 minutes ago Exited (0) 11 seconds ago vibrant_bouman
5.3 docker container 실행 방법(restart command)
docker restart 로 실행(restart Command 는 시작 또는 종료된 container 를 재시작)
$ docker ps -a # 종료된 컨테이너 검
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
80d50a1f66e3 ubuntu "/bin/bash" 7 minutes ago Exited (0) 11 seconds ago vibrant_bouman
$ docker restart 80d50a1f66e3 # 종료된 컨테이너 재시작
80d50a1f66e3
$ docker ps -a # 컨테이너 확인
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
80d50a1f66e3 ubuntu "/bin/bash" 11 minutes ago Exited (0) 7 seconds ago vibrant_bouman
6. docker container 중지 방법
6.1 docker container 중지 방법(stop command)
docker stop 으로 종료(stop Command 는 container 종료)
$ docker ps # 컨테이너 검색
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
80d50a1f66e3 ubuntu "/bin/bash" 7 minutes ago 60 seconds ago vibrant_bouman
$ docker stop 80d50a1f66e3 # 컨테이너 종료
80d50a1f66e3
$ docker ps -a # 컨테이너 확인
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
80d50a1f66e3 ubuntu "/bin/bash" 7 seconds ago Exited (0) 7 seconds ago vibrant_bouman
7. docker container 삭제
7.1 docker container 삭제 방법(rm command)
docker rm 으로 container 삭제(rm Command 는 container 삭제)
$ docker ps -a # 종료된 컨테이너 검색
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
4fd7ed2b06f9 ubuntu "/bin/bash" 2 days ago Exited (0) 2 days ago youthful_grothendieck
32840b2b7e9b ubuntu "/bin/bash" 8 seconds ago Exited (0) 8 seconds ago thirsty_dhawan
$ docker rm 4fd7ed2b06f9 #컨테이너 삭제
4fd7ed2b06f9
$ docker rm $(docker ps -a -q) # 모든 컨테이너 삭제
32840b2b7e9b
$ docker ps -a # 종료된 컨테이너 확인
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
8. docker logs 확인
8.1 docker container 의 log 확인(logs or logs -f -t command)
docker container 의 log 를 확인(logs -f 확인)
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
648a49d08fe7 ubuntu "/bin/bash" 3 minutes ago Up 3 minutes busy_carver
$ docker logs 648a49d08fe7 # 현재 기준의 Log 만 보여줌
$ docker logs -f 648a49d08fe7 # 실시간 log 를 보여줌
$ docker logs -f -t 648a49d08fe7 # Server TimeStamp log 를 보여줌
9. docker stats/top 확인
9.1 docker stats 확인
docker container 의 시스템 상태 확인
$ docker stats 648a49d08fe7 # 컨테이너의 상태를 보여줌
CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS
648a49d08fe7 busy_carver 0.00% 2.879MiB / 11.95GiB 0.02% 1.26kB / 0B 0B / 0B 1
9.2 docker top
docker container 의 process 상태 확인
$ docker top 648a49d08fe7 # 컨테이너 process 상태 확인
UID PID PPID C STIME TTY TIME CMD
root 2153 2132 0 03:04 ? 00:00:00 /bin/bash
root 2228 2153 0 03:24 ? 00:00:00 perl
10. docker container 파일 복사
10.1 docker container 파일 복사(container 에서 localhost 로 복사 하기)
$ docker ps # 실행 중인 container 확인
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
314a7288e569 ubuntu "/bin/bash" 2 minutes ago Up 2 minutes laughing_euclid
$ docker ps -a # 중지 또는 실행 중인 container 확인
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
314a7288e569 ubuntu "/bin/bash" 2 minutes ago Up 2 minutes laughing_euclid
648a49d08fe7 ubuntu "/bin/bash" 3 minutes ago Up 3 minutes busy_carver