Data Engineering/Embulk
-
Embulk Maria DB TimeZone 에러 해결법(docker 환경)Data Engineering/Embulk 2021. 6. 4. 16:16
Embulk를 사용하다가 MariaDB -> Postgresql 로 데이터를 이관하는 작업을 진행을 맡았다.. 그리고 테스트로 도커 환경에서 시작했고, 처음에 jdbc 오류부터 해서 오만가지 에러가 떴다.. 1번 에러 java.lang.RuntimeException: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 아니 이건 path 설정을 몇번을 하고, docker 내에 넣어도 안되고, 외부에 빼놔도 인식을 못했다. 그래서 그냥 embulk 옵션에서 driver_path 옵션을 빼 버렸다..ㅋㅋㅋ 2번 에러 The server time zone value 'KST' is unrecognized or represents more than one time..
-
Hive sql PartitionData Engineering/Embulk 2021. 2. 27. 15:29
잠깐 근무했던 곳에서 Hive sql를 경험을 했습니다. 당시 사용하면서 지적받았던 문법을 정리할겸 작성합니다. 테이블 생성 CREATE TABLE '데이터베이스이름'.'테이블이름'( column1 STRING COMMENT '컬럼1' ,column2 INT COMMENT '컬럼2' ,colmun3 BIGINT COMMENT '컬럼3' ) PARTITIONED BY( search_col STRING COMMENT '검색컬럼1' ,search_col2 STRING COMMENT '검색컬림2' ) 당시 일할 때는 그냥 선배들이 작성한 코드를 붙여 넣는 형식으로 테이블을 생성하고 삭제했습니다. 생성하는 부분에서는 다른 sql언어와 다를바가 없었는데, 저는 처음 PARTITIONED BY를 봤습니다. 알고보니 ..