Data Engineering
-
데이터의 이동을 쉽게 해보자! Embulk 사용하기 (Test용 DB설치 포함, postgresql)Data Engineering 2021. 5. 21. 10:35
Homebrew(홈브류) 설치 및 사용법, MacOS에서 프로그램을 쉽게 다운로드 및 삭제할 수 있는 패키지 관리자 설치전 사이트 참고 바랍니다. postgresql은 Homebrew를 이용해서 설치를 진행합니다. 바로 테스트용 brew install postgresql initdb /usr/local/var/postgres pg_ctl -D /usr/local/var/postgres start createdb test1 # login db psql test1 Embulk란? 출처 : https://jungwoon.github.io/bigdata/2017/08/31/Embulk_Setup.html Embulk 설치 및 기본 사용법 | Jungwoon Blog Embulk 설치 및 기본 사용법에 대해서 알..
-
Hive sql PartitionData Engineering/Embulk 2021. 2. 27. 15:29
잠깐 근무했던 곳에서 Hive sql를 경험을 했습니다. 당시 사용하면서 지적받았던 문법을 정리할겸 작성합니다. 테이블 생성 CREATE TABLE '데이터베이스이름'.'테이블이름'( column1 STRING COMMENT '컬럼1' ,column2 INT COMMENT '컬럼2' ,colmun3 BIGINT COMMENT '컬럼3' ) PARTITIONED BY( search_col STRING COMMENT '검색컬럼1' ,search_col2 STRING COMMENT '검색컬림2' ) 당시 일할 때는 그냥 선배들이 작성한 코드를 붙여 넣는 형식으로 테이블을 생성하고 삭제했습니다. 생성하는 부분에서는 다른 sql언어와 다를바가 없었는데, 저는 처음 PARTITIONED BY를 봤습니다. 알고보니 ..