What is YARN

YARN

Yet Another Resource Negotiator

Hadoop 1.0과 Hadoop 2.0에서 가장 큰 차이점은 YARN이다.

MapReduce는 4000 Node 이상의 매우 큰 Cluster에서 병목현상 이슈가 있었다.

이 병목 이슈를 해결하기 위해 YARN이 도입되었다.

Cluster Resouce Management와 Data Processing을 분리하였다.

YARN에서 Cluster Resouce Management를 담당한다.

MapReduce 외에 다른 Data Processing 방식도 수용 가능하다.

동작

Resource Manager

Client가 요청한 Application마다 자원을 관리한다.

Hadoop Cluster 내 1개 존재한다.

전체 Resouce 상태를 Report를 받는다.

Node마다 Resouce를 체크하다가 적절한 Node에게 Application Master를 할당한다.

Node Manager

각 Slave Node마다 1개씩 Node Manager가 구동한다.

Node Manager는 Container와 Resouce 상태를 주기적으로 Resource Manager에게 Report 한다.

Application Master

평상시에는 구동되지 않다가 Resource Manager에게 할당받으면 구동된다.

Application 실행을 관리하고 상태를 Resource Manager에게 Report 한다.

Container

Application Job을 수행한다.

제한된 Resource를 가지고 수행하게 된다.

Job 상태를 Application Master에게 Report 한다.

1. Client가 Resource Manager에게 Application Request
2. Resource Manager는 적절한 Node의 Node Manager에게 Application Master 실행 Request
3. Application Master는 Resource Manager에 등록
4. Application Master는 Resource Manager에게 Container에 할당할 공간 / 위치 정보 받음
5. Applicatoin Master는 수행할 Node의 Node Manager에게 Containter 실행 Request
6. Container는 Application 상태 정보 Application Master에 Report
7. Client는 Application Master와 통신하며 정보 얻음
8. Application이 종료되면 Application Master는 Resource Manager에게 자원 해제하고 종료