Python TMI

상황 Ubuntu를 VMware를 통해 켜자마자 바로 Terminal을 켜고 아래 코드로 HDFS를 건드려보았다. $ hdfs dfs -cat wordcount_test_out/part-r-00000|more 그랬더니 아래와 같은 커넥션 에러가 떴다. cat: Call From ubuntu/127.0.1.1 to localhost:9000 failed on connection exception: java.net.ConnectionException: Connection refused 해결 dfs deamon을 실행시키지 않아서 생긴 문제였다. 아래 코드로 켜주자. 😂 $ start-dfs.sh

상황 어느날 Wordcount.java를 실행시키니 아래와 같은 안내문을 받을 수 있었다. 분석 내가 Wordcount.java파일을 수정하다가 Terminal을 강제 종료하였거나하였을 때 자체적으로 .Wordcount.java.swp이란 파일을 생성해둔다고 한다. 그래서 내가 이전에 수정하던 내용을 그대로 이어나가고 싶지 않다면 E를 눌러주면 된다. 그러나 문제는 매번 Wordcount.java를 켤 때 마다 다시 물어본다는 것이다. 해결 귀찮으니까 그냥 .Wordcount.java.swp을 삭제해버리자. $ rm .Wordcount.java.swp

상황 아래 명령어를 실행했으나 아무런 결과값이 반환되지 않았다. $ hdfs dfs -cat wordcount_test_out/part-r-00000|more 원인 아래 명령어를 통해 확인해본 결과 DataNode가 존재하지 않았다. $ jps 해결 우선 서버를 종료하자. $ stop-dfs.sh hdfs가 사용하는 folder를 삭제해주자. 다시 만들어주게! rm -rf ~/hadoop_tmp hdfs가 사용할 폴더를 다시 생성 $ mkdir hadoop_tmp hdfs를 포맷해주자. $ hadoop namenode -format 서버를 다시 켜주자. $ start-dfs.sh hadoop user가 사용할 폴더를 다시 생성해주자. $ hdfs dfs -mkdir -p /user/hadoop 혹은 $ ..

상황 처음으로 Driver.java를 수정해보려 $ vi Driver.java 명령어를 통해 Driver.java파일을 열어보았다. 그런데 방향키로 요리조리 움직이려 하니 잘 안움직여지거나 이상한 영단어를 입력시키는 둥 난리가 났었다..ㅎ 해결 VIM을 설치하여 간접적으로 해결할 수 있다. $ sudo apt-get update $ sudo apt-get install vim 근데 여기서 install도 하지 못하고 바로 아래의 에러발생 E: Could not get lock /var/lib/dpkg/lock-frontend - open (11: Resource temporarily unavailable) E: Unable to acquire the dpkg frontend lock (/var/lib/d..

cp [복사하고 싶은 파일] [복사본의 이름 지정] 파일을 복사하고 싶을 때 ./ 현재 디렉토리를 의미 만약 현재 디렉토리가 ~/Project/template이라면 ~/Project/template를 의미. ../ 현재 디렉토리의 바로 위(부모) 디렉토리를 의미 만약 현재 디렉토리가 ~/Project/template이라면 ~/Project 디렉토리 안의 모든 디렉토리를 의미. ~ 홈디렉토리를 의미 따라서, $ cd ~ 는 곧 바로 홈 디렉토리로 이동할 수 있는 명령어. pwd 현재경로를 알려주는 명렁어. ~/Project/template에 있는 MatrixAdd.java 파일을 ~/Project/src 디렉토리에 복사하고싶다면? $ cp ./MatrixAdd.java ../src 만약 복사가 아닌 옮기고..

Big Data Data Mining : 모든 데이터를 어떻게 유니크한 데이터로 만들 것인가. Data Storing : 추출한 데이터를 저장. Data Sharing : 요즘 특별히 더 중요시 여겨지는 분야. 데이터셋을 서로 사용. 회사끼리 데이터를 쉐어링 하기도 함. Data Visualizations : 쉐어링 된 데이터를 추출해서 시각적으로 볼 수 있는 것. 중요한 분야. 빅데이터를 위한 많은 언어가 있지만 한 두가지에만 집중해서 확실히 공부하는 것이 좋음. 빅데이터에 맞춰져있는 쪽으로 언어를 배우면 좋다. Top Big Data Technologies Storage Hadoopd이 storage 플랫폼으로서 가장 많이 사용됨. 빅데이터 이야기시 Hadoop을 빼놓고 이야기할 수 없음. Mango..

상황 하둡의 HDFS에 wordcount_test라는 디렉토리를 생성하라는 명령어를 입력해주었더니 위 에러를 뱉었다. mkdir는 디렉토리를 생성해달라는 명령어인데 왜 이러한 파일 혹은 디렉토리가 없다고 하지? 싶었다. 그런데 원인은 상위 디렉토리도 아직 없는데 하위 디렉토리를 바로 생성해주려 했기 때문이다. 해결 상위 디렉토리를 먼저 만들어주기 전 해당 폴더에 아무 디렉터리가 없는지 확인하자. $ hdfs dfs -ls HDFS에 최상위 폴더인 user를 생성해주자. $ hdfs dfs -mkdir /user HDFS의 user폴더 안에 hadoop폴더를 생성해주자. 이제 hadoop의 폴더에 새로운 디렉토리를 생성할 준비가 되었다. $ hdfs dfs -mkdir /user/hadoop 실패했었던 하..

상황 아래 명령어는 SSH server가 잘 설치되어있는지 알아볼 수 있는 명령어다. 기본적으로는 시스템 자체에 원격접속을 시작할 수 있는 명령어다. $ ssh localhost 분석 이 에러를 얻었을 때의 의미는 SSH server 패키지가 시스템에 설치가 되어있지 않거나 서비스가 그저 현재 활성화되지 않았을 때이다. SSH service를 체크해보자.(나의 경우엔 1번 문제였다.) $ systemctl status sshd openssh-server패키지를 설치하자. $ sudo apt-get install openssh-server 다시 SSH service를 체크해보니 active된 것을 볼 수 있다. 그리고 이제 다시 시스템 자체에 원격접속을 시작할 수 있는 명령어를 입력해보니 다음의 질문을 했..

에러창 Your host does not meet minimum requirements to run VMware Player with Hyper-V or Device/Credential Guard enabled. 호스트가 활성화된 Hyper-V 또는 Device/Credential Guard과 VMware Player를 실행하기 위한 최소 요구 사항을 충족하지 않습니다. 상황 이전에 Docker를 Windows Home버전에 깔아주면서 Hyper-V를 활성화시켰었다. 그렇게 활성화해두었던 Hyper-V와 지금 다운로드하여주려는 Ubuntu사이에서 충돌이 일어난 것이다. Hyper-V를 꺼주면 된다! Step 1 Step 2 Step 3 이제 재부팅까지 해주면 끝! 재부팅 필수!! 🔽 REFERENCE V..

GoF(Gangs of Four) 디자인 패턴 singleton pattern(단일체) 생성패턴 한 클래스에 한 객체만 존재하도록 제한한다 bridge pattern 구현부에서 추상층을 분리하여 각자 독립적으로 확장이 가능하게 하는 패턴 adapter pattern(적응자) 구조패턴 인터페이스가 호환되지 않는 클래스들을 함께 이용할 수 있도록, 타 클래스의 인터페이스를 기존 인터페이스에 덧씌운다 decorator pattern(장식자) 구조패턴 0개, 1개 혹은 그 이상의 객체를 묶어 하나의 객체로 이용할 수 있다 state pattern(상태) 행위패턴 동일한 동작을 객체의 상태에 따라 다르게 처리해야 할 때 사용하는 디자인 패턴 패턴별 정리 생성 패턴 추상 팩토리(Abstract Factory) 빌더..