- HDFS
- 네임노드 디렉터리 구조
- VERSION
- layoutVersion, namespaceID, clusterID, blockpoolID, cTime, storageType
- in_use.lock
- 네임노드가 저장소 디렉터리를 잠그는 데 사용하는 잠금 파일
- fsimage
- 파일시스템 메타데이터(블록 매핑 정보)의 영구적인 체크포인트
- 네임노드에 장애가 발생하면 먼저 fsimage 를 메모리에 로드하고 edits파일에서 특정 지점 이후에 발생한 변경 내역들을 메모리에 반영하여 파일시스템의 메타데이터를 최신의 상태로 복원함
- edits
- 클라이언트가 쓰기 동작을 하면 제일 먼저 내용이 기록됨
- 체크포인팅 작업
- 수동, 매 시간(기본값) 주기, edits 1백만개(기본값) 이상(매 분 확인)일 때 수행
- 도구
- dfsadmin
- HDFS 상태 정보를 확인하고 다양한 관리 작업을 수행하는 다목적 도구
- fsck
- HDFS에 저장된 파일의 상태 점검 도구
- 밸런서(start-balancer.sh)
- 사용률이 높은 데이터 노드의 블록을 사용률이 낮은 데이터노드로 옮긺
- 불균형은 MapReduce의 지역성에 영향을 주므로 노드에 큰 부하를 줌
'Development > Hadoop' 카테고리의 다른 글
| 하둡 공부 - Apache Hadoop 3.0.0 (0) | 2019.01.24 |
|---|---|
| 하둡 공부 - 관련 프로젝트 (0) | 2019.01.24 |
| 하둡 공부 - 하둡 클러스터 설치 및 고려사항 (0) | 2019.01.24 |
| 하둡 공부 - 맵리듀스의 튜닝과 고급 기능 (0) | 2019.01.24 |
| 하둡 공부 - MapReduce 실행 (0) | 2019.01.24 |
나뷜나뷜