참고자료 들

시각화 툴 GEPHI : https://gephi.github.io/ TreeMap : http://www.cs.umd.edu/hcil/treemap/ ImagePlot : http://lab.softwarestudies.com/p/imageplot.html IndieMapper : http://indiemapper.com/ ArcGis : http://www.arcgis.com/features/ Graphviz : http://www.graphviz.org/Home.php 챠트 D3Chart : http://d3js.org/ (Tutorial : http://alignedleft.com/tutorials/d3/) NVD3 : http://nvd3.org/ jqPlot : http://www.jqplot.com/ amCharts : http://www.amcharts.com/ Ext JS 4 Charts : http://dev.sencha.com/deploy/ChartsDemo/ YUI 3 Charts : http://yuilibrary.com/yui/docs/charts/ FusionCharts : http://www.fusioncharts.co.......

원격리눅스장비[EC2]에서 visual tool 활용

putty랑 puttygen 등을 이용하여 원격장비에 접속이 가능하다는 전재 하에 설명합니다. putty의 X11항목 설정 윈도우즈 장비에 Xming 설치 http://sourceforge.net/projects/xming/ 리눅스장비에 필요요소 설치 apt-get update apt-get install xorg openbox putty에서 x-terminal 실행 > xterm gnuplot 같은 것이 제대로 작동되나 확인해보면 됩니다.!!!!!!! 참조: http://simplefeatures.perroazul.net/?p=381

Standard Input을 Excel파일로 만들기

JXL을 이용해서 만들었습니다. option.separator을 통하여 필드구분자를 설정을 option.sheetlinelimit을 통하여 라인을 초과하는 라인을 다음시트로 넘기도록 설정하였습니다. #!/bin/sh PWD="/home/hadoop/work/airguy/StdInToExcel" JAVA_BIN="/usr/bin/java" CLASS_PATH="$PWD/ReportUtils.jar:$PWD/jxl.jar" PROGRAM_NAME="com.airguy.utils.report.StdInToExcel" OUTPUT=$1 MAXLINE=$2 SEPARATOR=$3 if [ -z $MAXLINE ] ; then MAXLINE="5000" fi if [ -z $SEPARATOR ] ; then SEPARATOR="\\^" #SEPARATOR="\t" fi $JAVA_BIN \ -Doption.separator=$SEPARATOR \ -Doption.sheetlinelimit=$MAXLINE \ -classpath $CLASS_PATH \ $PROGRAM_NAM.......

S3 distcp

방법1 hadoop distcp hdfs:HDFS경로 s3n://access키:secret키@버킷경로 secret키에 + / 등이 들어가면 작동불가능한 단점이 있다. 방법2 time hadoop distcp -Dfs.s3n.awsAccessKeyId="access키" -Dfs.s3n.awsSecretAccessKey="secret키" HDFS경로 s3n:버킷경로 방법3 <property> <name>fs.s3n.awsAccessKeyId</name> <value>access키</value> </property> <property> <name>fs.s3n.awsSecretAccessKey</name> <value>secret키</value> </property> core-site, mapred-site, hdfs-site 등 config에 직접 추가 @추가로 파일용량이 커서 600sec timeout이 날 때가 있다. .......

[무스패밀리 시즌2 17편] 엄마가 되는 순간부터 잠을 제대로 잘 수 없습니다

* 출처 : http://samsungtomorrow.com/%EB%AC%B4%EC%8A%A4%ED%8C%A8%EB%B0%80%EB%A6%AC-%EC%8B%9C%EC%A6%8C2-17%ED%8E%B8-%EC%97%84%EB%A7%88%EA%B0%80-%EB%90%98%EB%8A%94-%EC%88%9C%EA%B0%84%EB%B6%80%ED%84%B0-%EC%9E%A0%EC%9D%84-%EC%A0%9C

[무스패밀리 시즌2 17편] 엄마가 되는 순간부터 잠을 제대로 잘 수 없습니다

* 출처 : http://samsungtomorrow.com/%EB%AC%B4%EC%8A%A4%ED%8C%A8%EB%B0%80%EB%A6%AC-%EC%8B%9C%EC%A6%8C2-17%ED%8E%B8-%EC%97%84%EB%A7%88%EA%B0%80-%EB%90%98%EB%8A%94-%EC%88%9C%EA%B0%84%EB%B6%80%ED%84%B0-%EC%9E%A0%EC%9D%84-%EC%A0%9C

[무스패밀리 시즌2 17편] 엄마가 되는 순간부터 잠을 제대로 잘 수 없습니다

* 출처 : http://samsungtomorrow.com/%EB%AC%B4%EC%8A%A4%ED%8C%A8%EB%B0%80%EB%A6%AC-%EC%8B%9C%EC%A6%8C2-17%ED%8E%B8-%EC%97%84%EB%A7%88%EA%B0%80-%EB%90%98%EB%8A%94-%EC%88%9C%EA%B0%84%EB%B6%80%ED%84%B0-%EC%9E%A0%EC%9D%84-%EC%A0%9C

에버랜드

* 출처 : http://samsungtomorrow.com/%EB%AC%B4%EC%8A%A4%ED%8C%A8%EB%B0%80%EB%A6%AC-%EC%8B%9C%EC%A6%8C2-16%ED%8E%B8-%EC%97%90%EB%B2%84%EB%A0%8C%EB%93%9C-%EA%B0%80%EA%B3%A0%EC%8B%B6%EC%96%B4%EC%9A%94

에버랜드

* 출처 : http://samsungtomorrow.com/%EB%AC%B4%EC%8A%A4%ED%8C%A8%EB%B0%80%EB%A6%AC-%EC%8B%9C%EC%A6%8C2-16%ED%8E%B8-%EC%97%90%EB%B2%84%EB%A0%8C%EB%93%9C-%EA%B0%80%EA%B3%A0%EC%8B%B6%EC%96%B4%EC%9A%94

에버랜드

* 출처 : http://samsungtomorrow.com/%EB%AC%B4%EC%8A%A4%ED%8C%A8%EB%B0%80%EB%A6%AC-%EC%8B%9C%EC%A6%8C2-16%ED%8E%B8-%EC%97%90%EB%B2%84%EB%A0%8C%EB%93%9C-%EA%B0%80%EA%B3%A0%EC%8B%B6%EC%96%B4%EC%9A%94

Task 정보 속성

mapred.job.id : String : jobid를 얻어옴 mapred.jar : String : job 디렉토리에서 jar 파일의 위치 job.local.dir : String : job의 로컬 scratch 경로 mapred.tip.id : String : task id mapred.task.id : String : task tasking id mapred.task.is.map : boolean : map task 인가? mapred.task.partition : int : job 내의 task id map.input.file : String : mapper의 파일경로 map.input.start : long : mapper 입력 분할 시작 오프셋 map.input.length : long : mapper 입력 분할 바이트 수 mapred.work.output.dir : String : result path job.get("~~~"); job.get("~~~", default); @Streamming map.input.file -> map_input_file

S3 -> HDFS

0 bytes를 솎아내고 hadoop에다 넣는 스크립트 다운받을 목록을 만든 후 클러스터 갯수만큼 N빵 후 나눠진 목록을 노드들에게 배포하여 각각의 노드가 S3CMD를 이용하여 다운로드 하고 HDFS에 put하는 스크립트 입니다. (로드밸런싱까지 되는거니 일거양득??? *^^*) distcp보다 빠르고 또 복사조건도 스크립트 상에 명시가능해서 편하게 사용하고 있습니다. --- run.sh #!/bin/bash PWD=$(cd `dirname $0` ; pwd) HADOOP_BIN="$HADOOP_HOME/bin/hadoop" S3CMD="/usr/local/bin/s3cmd" LIST_FILE="s3_list.txt" #YYYYMMDD WORK_DATE=$1 SHORT_DATE=`date +%y%m%d -d $WORK_DATE` #HDFS PATH for s3 input S3_BUCKET=$2 if [ -z $S3_BUCKET ] ; the.......

손승연 - let it go

2012년 Mnet 보이스 코리아 우승자 손승연이 부르는 let it go

손승연 - let it go

2012년 Mnet 보이스 코리아 우승자 손승연이 부르는 let it go

손승연 - let it go

2012년 Mnet 보이스 코리아 우승자 손승연이 부르는 let it go

겨울철 우리아기 올바른 해열법 열 가지

찬바람 불기 시작하면 아이가 감기에 걸릴까 봐 노심초사하게 된다는 두 아이의 엄마 서모씨. 세 살 된 첫째를 키우며 나름 아이 해열에 전문가가 되었다고 자부했지만 지난 새벽, 이제 갓 돌이 지난 둘째가 영문도 모른 채 갑자기 열이 펄펄 끓었을 땐 무엇부터 해야 할지 몰라 우왕좌왕 어찌할 바를 몰랐다.아이가 열이 나는 원인은 대게 감기인 경우가 많다. 본격적으로 추위가 시작된 지금, 아이가 있는 집이라면 어린이 해열 상식에 대한 점검이 반드시 필요하다. 소아청소년과 전문의 하정훈 원장은 최근 <어린이용 타이레놀과 함께하는 맘&베이비 똑똑 건강 클래스>에서 ‘찬 바람이 불 때 꼭 알아야 할 아이의 올바른 해열법’.......

겨울철 우리아기 올바른 해열법 열 가지

찬바람 불기 시작하면 아이가 감기에 걸릴까 봐 노심초사하게 된다는 두 아이의 엄마 서모씨. 세 살 된 첫째를 키우며 나름 아이 해열에 전문가가 되었다고 자부했지만 지난 새벽, 이제 갓 돌이 지난 둘째가 영문도 모른 채 갑자기 열이 펄펄 끓었을 땐 무엇부터 해야 할지 몰라 우왕좌왕 어찌할 바를 몰랐다.아이가 열이 나는 원인은 대게 감기인 경우가 많다. 본격적으로 추위가 시작된 지금, 아이가 있는 집이라면 어린이 해열 상식에 대한 점검이 반드시 필요하다. 소아청소년과 전문의 하정훈 원장은 최근 에서 ‘찬 바람이 불 때 꼭 알아야 할 아이의 올바른 해열법’.......

겨울철 우리아기 올바른 해열법 열 가지

찬바람 불기 시작하면 아이가 감기에 걸릴까 봐 노심초사하게 된다는 두 아이의 엄마 서모씨. 세 살 된 첫째를 키우며 나름 아이 해열에 전문가가 되었다고 자부했지만 지난 새벽, 이제 갓 돌이 지난 둘째가 영문도 모른 채 갑자기 열이 펄펄 끓었을 땐 무엇부터 해야 할지 몰라 우왕좌왕 어찌할 바를 몰랐다.아이가 열이 나는 원인은 대게 감기인 경우가 많다. 본격적으로 추위가 시작된 지금, 아이가 있는 집이라면 어린이 해열 상식에 대한 점검이 반드시 필요하다. 소아청소년과 전문의 하정훈 원장은 최근 <어린이용 타이레놀과 함께하는 맘&베이비 똑똑 건강 클래스>에서 ‘찬 바람이 불 때 꼭 알아야 할 아이의 올바른 해열법’.......

쓰레빵

쓰레빵