DAY78. Hadoop Basic Master 서버 설정

Hadoop 시스템 개요
구글 : GFS(Google File System)와 맵리듀스(MapReduce)
2005년 더그커팅 구현
2008년 아파치 최상위 프로젝트 승격
주요 구성
- HDFS(Hadoop Distributed File System) : 저장소
- Map Reduce : 분산처리 시스템

Hadoop 이점
여러 대 서버에 데이터 저장
각 서버에서 동시 데이터 처리(분산처리)
기존의 RDBMS 대체
고가 장비 대신 리눅스 서버로 대체
오픈 소스 (SW 라이선스, 고가 HW 비용 절감)


Hadoop 에코 시스템

Hadoop+Hive+Spark 소프트웨어 아키텍처

 

 

Hadoop 분산 병렬 처리

 

 

ex) Word Count

 

 

Hadoop 발전과정

Hadoop 1.0	Hadoop 2.0
- HDFS & MapReduce 구성, MapReduce 실행 시 맵퍼는 모두 동작하는데 리듀서는 놀고 있거나 그 반대의 경우 발생 - 전체 클러스터 사용률 낮음	- YARN(얀)이 도입되면서 전체 클러스터의 자원(resource) 정보를 토대로 효과적으로 자원을 할당하여 맵리듀스 태스크 실행 - 전체 클러스터 사용률 향상 - YARN의 리소스 매니저는 전체 클러스터의 리소스 관리/할당

 

Hadoop1.0 아키텍처

Job Tracker : 사용자로 부터 Job 실행 요청 받고, 해당 Task Tracker에 할당

Task Tracker : 로컬 Disk 대상으로 실제 Task 실행, Job Tracker 진행 보고

 

Hadoop2.0 아키텍처

 

 

Master vs Slave server

Master Server	Slave server
NameNode, Resource Manager 보조 네임노드 설치 서버 디스크 : 2 ~ 4개 메모리 : 32GB ~ 128GB (64GB : 1억 파일 저장) CPU : 코어 수 16~24개	DataNode, Node Manager 설치 서버 디스크 : 4 ~ 12개(1TB~3TB) 메모리 : 24GB ~ 48GB CPU : 쿼드 코어 2개 이상

Job Tracker : Job 실행 요청 받고, Task Tracker에 할당

Task Tracker : 실제 Task 실행, Job Tracker 진행 상태 보고

 

 

NameNode(Master Server)

1) HDFS에서의 NameNode(master)는 분산환경에서 Job 분배, 지시 및 감독

2) 작업의 대상이 되는 파일을 블록(block)단위로 나누어서 slave node 분배

3) 메타데이터 저장

- 파일 별 블록, 각 블록 별 정보(DataNode 위치 등)

- 실제 파일의 블록은 DataNode에 저장됨

4) 전체 분산 파일시스템 이상 유무 체크, DataNode(slave) 데이터 입출력 작업 (low-level I/O tasks) 지시

5) NameNode 문제 발생 사 Hadoop 클러스터 전체 시스템 차단

- Secondary NameNode 이용(NameNode 이중화) 문제 해결

 

DataNode(Slave Server)

1) 실제 HDFS(분산파일시스템) 대상으로 읽기 및 쓰기의 모든 작업 수행

2) 모든 작업은 대상 파일을 random하게 블록(block) 단위로 나누어 진행

3) DataNode 작업은 NameNode에 수시 보고, 메타데이터 형식 저장

4) 데이터를 읽어 들이는 즉시 각 Data node에 분배(Name node)

- HDFS는 큰 데이터 파일을 여러 개로 분리시켜서 각 node 처리

5) 각각의 조각(chunk) 는 여러 대의 컴퓨터에 중복적으로 복제

- 한 컴퓨터에서 장애가 발생해도 다른 컴퓨터를 통해 데이터 이용

6) 모든 파일조각들은 하나의 namespace를 공유

- 클러스터 내의 모든 node들은 공유된 파일 이용

 

 

Hadoop 클러스터 구축 시스템 구성도

 

 

 

 

 

 

Master 서버 생성/환경 설정

1 .Master 서버 생성

1) C드라이브에 Master 폴더 생성

2) VMware > Home> Create a New Virtual Machine > 맨 아래 옵션 선택 > Linux / CentOS 7 64-bit 설정 > Location은 Master폴더 > Maximum disk size 20.0 / Split 옵션 선택

3) VMware Master > Edit virtual machine settings

- Memory 2048MB > Network Adapter에서 Advanced... > MAC Address의 Generate (MAC주소 생성)

- CD/DVD > Use ISO image file > CentOS 7 7 64-bit

 

 

2. 방화벽 제거

[Hadoop@localhost ~]$ su root -> 관리자 모드 진입
암호:
[root@localhost hadoop]#
[root@localhost hadoop]# system status firewalld.service -> 방화벽 데모 상태 확인
.
.
[root@localhost hadoop]# system stop firewalld -> 방화벽 데모 중지
[root@localhost hadoop]# system mask firewalld -> 방화벽 데모 제거
Created symlink from /etc/systemd/system/firewalld.service to /dev/null

 

 

네트워크 설정

네트워크 > 유선의 톱니바퀴 > 자세히보기 > IPv4주소 (Linux실제 IP4주소) > 기본 라우팅, 네임서버(DNS)확인 (기본 라우팅 (게이트웨이))

* 메모장에 개인 네트워크 정보 따로 기록해두기

신원 > MAC주소 선택

IPv4 > IPv4방식 수동 > 주소에서 실제 IP의 4번째 숫자 변경해서 / 게이트웨이와 네임서버는 기본 설정과 동일하게 > 적용

 

 

3. 호스트 네임설정

[Hadoop@localhost ~]$ su root -> 관리자 모드 진입
암호:
[root@localhost hadoop]# hostnamectl set-hostname master -> 서버 이름 변경
[root@localhost hadoop]# hostname -> 서버 이름 확인
master
[root@localhost hadoop]#
[root@localhost hadoop]# vi /etc/hosts -> 호스트 환경 설정


이전 단계에서 설정했던 Master 가상 IP주소 기입
172. 16. 57. 5 master
172. 16. 57. 10 slave1

인터넷 연결 확인 > Master서버 재부팅 > 설정 > 네트워크 > 자세히보기에서 IPv4, 하드웨어주소, 기본 라우팅, 네임서버 주소 확인

 

 

4. Java 설치

JRE 설치 확인

[Hadoop@master ~]$ su
암호:
[root@master hadoop]# yum list java*jdk-devel ->1.8 버전 설치

 

JDK 설치

[Hadoop@master ~]$ su
암호:
[root@master hadoop]# yum install java-1.8.0-openjdk-devel.x86_64
.
.
Is this ok [y/d/N]y

 

JDK 설치 확인

Complete!
[root@master hadoop]# rpm -qa java-1.8.0-openjdk-devel.x86_64 -> JDK설치 확인
Java-1.8.0-openjdk-devel-1.8.0.312.b07-1.e17_9.x86_64
[root@master hadoop]#
[root@master hadoop]#java -version -> JRE버전 확인
openjdk version "1.8.0_312"

 

 

5. Slave 폴더 생성(Master 폴더 복사)

Master폴더가 있는 C드라이브 공간에 Master폴더 복사 후 Slave1로 이름 변경