Big Data : Hadoop : Ubuntu 16.04 LTS -> Hadoop 2.7.6 세팅하기!

하~~~~~~~~~~~~~~~~~~~~~~~~

일단 하를 내뱉고 시작하는 내 애증의 하둡....

 

진짜 gaejuk_2랑 이거 때문에, 노트북 하나도 말아먹고..... ubuntu 앱도 말아먹고......

(gaejuk_2 node 부여받았을 때, 그것도 좀 조져놓을걸....힣 보면 극대노할듯)

결국 이번엔 교수님 노드에서 진행한다ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ

 

나중에는 아마 대학원가서 계산을 돌릴 때는 뭔가 ubuntu로만 세팅할 것 같은 느낌이 들어서

일단 많이 배워두자 ㅋㅋㅋㅋㅋ

 

자!

오늘은 hadoop을 ubuntu에 세팅하는 방법에 대해서 적어보려한다.

 

https://tecadmin.net/setup-hadoop-on-ubuntu/

How to Setup Hadoop on Ubuntu 18.04 & 16.04 LTS – TecAdmin

사실 여기가 제일 정확하고 설명이 잘 나와있는 것 같다.

 

여러 사이트를 뒤지고 뒤졌지만, 여기가 내 세팅이랑 제일 잘 맞는다.

 

싱글모드, 의사분산모드, 완전분산모드 등등 여러가지가 존재하는데 

 

처음에는 다들 의사분산모드에서 시작하고, 나중에 좀 다룰줄 알면 완전분산모드로 세팅한다고 한다.

 

난 지금은 의사분산모드(pseudo distributed mode)

 

 

제일 중요한 점은.... 만약 설치하다가 진짜 안된다 싶으면

바로 지워버리고 다시 깔기~~~~

 

이게 제일 속편하고 제일 중요한 점인 것 같다.

 

교수님께서 하둡(특히 3.x버젼)은 뻑이 잘 나서 애기 다루듯이 만져야 한다고 늘~ 말씀하셨다.

 

그러므로 만약에 설치 도중에 충돌이 일어나서 안되거나 이상하게 안된다 하면 그냥

 

맘편하게 바로 지워버리기~~~

 

실제로 gaejuk_2도 예전에 프로젝트할 때 hadoop 세팅을 처음에 잘 못했었는데

 

지우고 다시하니까 따-란~~ 

 

 

결론은 하다 안되면 그냥 hadoop 폴더 지워버리고 다시하기!

 

---

Setting 한 후, HDFS & Yarn 실행하기.

# $HADOOP_HOME
cd $HADOOP_HOME

# hdfs 실행하기
sbin/start-dfs.sh

# yarn 실행하기
sbin/start-yarn.sh

# jps 확인
jps

 

jps로 확인하기

jps

jps 로 확인하였을 때, 다음과 같이 6개가 다 되어있어야한다.

 

만약에 jps 했는데 namnode가 죽어있다면, 다시깔기....(이건 방법이 없는듯....매번 namenode -format 할수도없고...)