하둡 분산 파일 시스템

Hadoop Distributed File System

동작 절차

1. 클라이언트로부터 특정 파일에 대한 요구 전달
2. 네임노드에서 해당 파일을 보관하고 있는 블록 정보 탐색
3. 실제 데이터가 보관되어 있는 데이터노드 위치 파악
4. 데이터노드에서 파일 처리

구성요소

네임노드

Namenode; 마스터 노드

• 메타 데이터만 보관하고, 실제 데이터는 저장하지 않음

데이터노드

Datanode; 슬레이브 노드

• 실제 데이터를 보관하는 노드
• 64MB, 128MB 등의 블록 단위로 데이터 저장

고가용성

결함 허용, 성능 향상을 위해 데이터와 노드 다중 구성

네임노드 이중화

• 클러스터에 2개의 네임노드를 구축하여 고가용성 보장
  • HA 모드: Active - Standby로 운영(실시간 동기화)
  • Non-HA 모드: Secondary Name Node 이용(동기화는 되지 않음)

데이터 복제

• 데이터를 기본 3 Copy Replication 형성
• 신뢰성 보장: 하나의 노드, 데이터가 손실되어도 무중단 동작 보장
• 성능 향상: 데이터의 지역성을 향상시켜 빠른 처리 도모

자주 나오는 정리

• 구글의 분산 파일 시스템 GFS(Google File System) 논문을 바탕으로 설계를 본떠 자바로 새로 구현한 오픈소스다 → 구글 파일 시스템
• 블록 복제 수(Replication factor)는 기본값이 3 이며 사용자가 설정으로 바꿀 수 있다(dfs.replication).
• 네임노드는 파일 이름, 블록 위치 같은 메타데이터를 관리하고, 실제 블록은 데이터노드에 저장된다.