하둡 공부 - 하둡 관리

 

- HDFS

 

 

 

• 네임노드 디렉터리 구조
• VERSION
• layoutVersion, namespaceID, clusterID, blockpoolID, cTime, storageType
• in_use.lock
• 네임노드가 저장소 디렉터리를 잠그는 데 사용하는 잠금 파일
• fsimage
• 파일시스템 메타데이터(블록 매핑 정보)의 영구적인 체크포인트
• 네임노드에 장애가 발생하면 먼저 fsimage 를 메모리에 로드하고 edits파일에서 특정 지점 이후에 발생한 변경 내역들을 메모리에 반영하여 파일시스템의 메타데이터를 최신의 상태로 복원함
• edits
• 클라이언트가 쓰기 동작을 하면 제일 먼저 내용이 기록됨
• 체크포인팅 작업
• 수동, 매 시간(기본값) 주기, edits 1백만개(기본값) 이상(매 분 확인)일 때 수행

 

 

 

• 도구
• dfsadmin
• HDFS 상태 정보를 확인하고 다양한 관리 작업을 수행하는 다목적 도구
• fsck
• HDFS에 저장된 파일의 상태 점검 도구
• 밸런서(start-balancer.sh)
• 사용률이 높은 데이터 노드의 블록을 사용률이 낮은 데이터노드로 옮긺
• 불균형은 MapReduce의 지역성에 영향을 주므로 노드에 큰 부하를 줌

 

 

참조: Hadoop: The Definitive Guide