뇌운동일지

정리1) 정형 데이터 (Structured data) : 데이터베이스의 정해진 규칙(Rule)에 맞게 들어간 데이터 중에 수치만으로 의미 파악이 쉬운 데이터 비정형 데이터 (Unstructured data) : 정해진 규칙이 없어서 값의 의미 파악이 어려운 데이터 ex) 텍스트, 음성, 영상 반정형 데이터 (Semi-structured data) : 약한 정형 데이터 ex) HTML, XML 하둡 - 대용량 자료 처리 가능 - 컴퓨터 클러스터에서 동작 - 분산 응용 프로그램을 지원하는 오픈소스 자바 프레임워크 분산 데이터 처리 기술 : 큰 용량의 단일 서버보다 작은 용량의 여러 서버를 묶은 컴퓨터 클러스터가 가성비 더 좋음 하둡의 핵심 철학 : 코드(가벼움)를 데이터(무거움)가 있는 곳으로 보냄 레이드와..

jar file 안에서 실행 클래스를 명기한 경우, job의 이름을 넣을 필요가 없다.

기본적인 사용 설정은 되어있다는 가정 1. hadoop-2.6.0_64x.zip을 압축을 풀어서 사용 위치에 저장 2. hadoop-env.cmd 문서에 수정내용 기입 3. hdfs 설정을 위해 namenode 포맷 4. 하둡 시스템 권장 모드로 시작 두 가지 명령을 실행하면, 아래 4개의 창이 나온다. 5. 하둡 파티션에 /big 저장소 생성 6. 하둡에 저장할 소스 bigdata.txt 를 생성, 하둡 파티션 /big 에 저장 이렇게 bin 아래에 분석할 txt 파일과 hadoop-mapreduce-examples-2.6.0.jar 를 옮겨준다. 파일을 옮겨주지 않으면 full 경로를 입력해야 하는데, 번거로우므로 그냥 옮겨준다. 7. hadoop-mapreduce-examples-2.6.0.jar ..

C:\hadoop-2.6.0_64x yarn -> hadoop (2.0) hadoop (1.0) hdfs 는 hadoop 명령어를 실행할 때 사용 현재경로는 /user 밑에 만들어지는 것 출력경로 재사용 안됨 권장 시작 start-dfs start-yarn 권장 종료 stop-dfs stop-yarn localhost:50070 실행 : yarn jar xxx.jar /air/2008.csv /airout =============== 추가