기타/빅데이터 - Hadoop

Hadoop # Datanode 삭제되었을 때 해결방법

둥굴둥굴둥굴레차 2021. 8. 25. 12:17

상황

 

아래 명령어를 실행했으나 아무런 결과값이 반환되지 않았다.

$ hdfs dfs -cat wordcount_test_out/part-r-00000|more 

 

원인

아래 명령어를 통해 확인해본 결과 DataNode가 존재하지 않았다.

$ jps

 

원래는 이 사진과 같이 떠야한다.

 

 

해결

우선 서버를 종료하자.

$ stop-dfs.sh

 

hdfs가 사용하는 folder를 삭제해주자. 다시 만들어주게!

rm -rf ~/hadoop_tmp

 

hdfs가 사용할 폴더다시 생성

$ mkdir hadoop_tmp


hdfs를 포맷해주자.

$ hadoop namenode -format

 

서버를 다시 켜주자.

$ start-dfs.sh

 

hadoop user가 사용할 폴더를 다시 생성해주자.

$ hdfs dfs -mkdir -p /user/hadoop

 

혹은

$ hdfs dfs -mkdir -p .