- YARN을 통해 각 Task들이 스케줄링되고 클러스터의 여러 노드에서 실행됨
- 특정 Task가 실패하면 자동으로 다른 노드를 재할당하여 다시 실행됨
- YARN의 특징
- Resource Manager (RM): 클러스터 전체 자원의 사용량을 관리
- Node Manager (NM): 컨테이너를 구동하고 모니터링하는 역할을 수행
- Application Master (AM): 클라이언트의 요청을 담당하여, 컨테이너 수행 결과를 반환함 (구체적인 방법은 애플리케이션에 따라 다름)
- YARN의 자원 요청
- 컨테이너에 필요한 컴퓨터 자원과 지역성 제약을 표현할 수 있음
- 지역성을 고려한 특정 랙의 노드 - 동일 랙의 임의 노드 - 클러스터의 임의 노드 순으로 컨테이너 할당을 시도
- YARN 스케줄러
- FIFO
- 쉽고 설정이 필요없지만 공유 클러스터 환경에서는 적절하지 않음
- Fair
- 최소한의 자원만 보장하며, 그외 Idle 자원은 동적으로 할당함
- Capacity
- Job 제출 즉시 분리된 전용 큐에서 처리하지만, 해당 큐에서 Job을 위한 자원을 미리 예약해두기 때문에 전체 클러스터의 효율성을 떨어짐
참조: Hadoop: The Definitive Guide
'Development > Hadoop' 카테고리의 다른 글
| 하둡 공부 - MapReduce 작동 방법 (0) | 2019.01.24 |
|---|---|
| 하둡 공부 - Hadoop I/O (0) | 2019.01.24 |
| 하둡 공부 - Hadoop Read & Write (0) | 2019.01.24 |
| 하둡 공부 - HDFS (0) | 2019.01.24 |
| Hadoop 2.7.3 Fully-distributed Mode Setup (0) | 2017.02.01 |
나뷜나뷜