Hadoop - Name node, Data node, HDFS 클라이언트

Name Node, Data Node, HDFS 클라이언트

들어가며

Hadoop HDFS 클러스터는 마스터 노드, 워커 노드로 분리되어 관리하고있다.
마스터 노드를 Name Node라고 칭하고, 워커 노드를 Data Node라고 칭한다.

Name Node

Name Node에서는 HDFS에서 메타 데이터를 관리하는 노드이다.
메타 데이터에는 네임스페이스 이미지와 에디트 로그 두가지 파일로 저장된다.
또한 Data Node의 블록 데이터 위치를 저장하는데 이거는 메모리에 저장되기 때문에 Name Node가 재시동되면
Data Node의 블록 위치가 다 날라가서 재구성해야한다.

Data Node

Data Node에는 실질적인 파일이 물리적으로 저장되는 곳이다.
Data Node는 클라이언트 혹은 Name Node가 저장/읽기 요청을 할 때 데이터를 제공한다.
주기적으로 Name Node에게 데이터 블록 위치를 전송한다.

Data Node가 장애시에는 타 Data Node들의 파일을 찾아 사용하면 되지만, Name Node가 장애 발생시 파일을 탐색할 수 없다.
이유는 당연하지만, 위에 설명한대로 Name Node가 죽으면 Data Node의 블록 위치를 불러 올 수 없기 때문에 Data Node는 죽더라도, Name Node는 장애가 발생하지않도록 잘 관리해야한다.

HDFS 클라이언트

HDFS 클라이언트는 Name Node, Data Node간의 통신 및 파일 접근에 사용된다.