뇌운동일지

정리1) 정형 데이터 (Structured data) : 데이터베이스의 정해진 규칙(Rule)에 맞게 들어간 데이터 중에 수치만으로 의미 파악이 쉬운 데이터 비정형 데이터 (Unstructured data) : 정해진 규칙이 없어서 값의 의미 파악이 어려운 데이터 ex) 텍스트, 음성, 영상 반정형 데이터 (Semi-structured data) : 약한 정형 데이터 ex) HTML, XML 하둡 - 대용량 자료 처리 가능 - 컴퓨터 클러스터에서 동작 - 분산 응용 프로그램을 지원하는 오픈소스 자바 프레임워크 분산 데이터 처리 기술 : 큰 용량의 단일 서버보다 작은 용량의 여러 서버를 묶은 컴퓨터 클러스터가 가성비 더 좋음 하둡의 핵심 철학 : 코드(가벼움)를 데이터(무거움)가 있는 곳으로 보냄 레이드와..

데이터가 많아지면 어떠한 방향성을 가지게 됨. Vector -> 어떠한 방향성을 가진 데이터 데이터 크기가 존재하는 데이터 평면이 되는 데이터 ( 양방향을 가지고 있음 ) -> matrix z축까지 가져서 입방체의 데이터 -> tensor Ctrl + Shift + enter 로 실행 데이터 크기 : 스칼라 방향 : 벡터 2방향 : 매트릭스 3방향 : 텐서

jar file 안에서 실행 클래스를 명기한 경우, job의 이름을 넣을 필요가 없다.

기본적인 사용 설정은 되어있다는 가정 1. hadoop-2.6.0_64x.zip을 압축을 풀어서 사용 위치에 저장 2. hadoop-env.cmd 문서에 수정내용 기입 3. hdfs 설정을 위해 namenode 포맷 4. 하둡 시스템 권장 모드로 시작 두 가지 명령을 실행하면, 아래 4개의 창이 나온다. 5. 하둡 파티션에 /big 저장소 생성 6. 하둡에 저장할 소스 bigdata.txt 를 생성, 하둡 파티션 /big 에 저장 이렇게 bin 아래에 분석할 txt 파일과 hadoop-mapreduce-examples-2.6.0.jar 를 옮겨준다. 파일을 옮겨주지 않으면 full 경로를 입력해야 하는데, 번거로우므로 그냥 옮겨준다. 7. hadoop-mapreduce-examples-2.6.0.jar ..

C:\hadoop-2.6.0_64x yarn -> hadoop (2.0) hadoop (1.0) hdfs 는 hadoop 명령어를 실행할 때 사용 현재경로는 /user 밑에 만들어지는 것 출력경로 재사용 안됨 권장 시작 start-dfs start-yarn 권장 종료 stop-dfs stop-yarn localhost:50070 실행 : yarn jar xxx.jar /air/2008.csv /airout =============== 추가

Hadoop : 저장 기초명령 워드카운트 (- 자바로 만들 수도 있고, 파이썬으로도 만들 수도 있다. 스크립트 명령어로도 만들 수 있음 (- 아마존을 분석 )) 정렬 R : 분석 -> 시각화 요즘 활용도가 높다 수집 (크롤링) jQuery, Ajax bigdata : 기존의 방법으로 처리하기 힘든 대용량 데이터 ( 실시간 ... ) : 기존의 데이터와 상이한 구조를 가지는 데이터 ( log 파일, 문자 및 데이터 ... ) 수집 -> 저장 -> 분석 -> 시각화 hadoop eco system