-
Workflow Engine Digdag 소개 및 Local 설치Data Engineering 2021. 8. 10. 15:38반응형
공식사이트
What’s Digdag? — Digdag 0.10.1 documentation
Digdag는 workflow를 쉽게 만들어 줍니다.
반복되어야하는 과정이나, 자동화를 시켜야 하는 부분일 때, 사용합니다.
쉘 스크립트와 파이썬을 범용해서 실행시킬 수 있습니다.
1. 최신 버전 다운로드
Digdag는 단일 실행 파일입니다. 다음과 같은 명령을 ~/bin사용하여 파일을 설치할 수 있습니다 curl.
순차대로 입력하면 설치가 됩니다.
curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest" chmod +x ~/bin/digdag echo 'export PATH="$HOME/bin:$PATH"' >> ~/.bashrc
터미널 창을 다시 열거나 PATH 변경 사항이 적용되도록 다음 명령을 입력하십시오.
source ~/.bashrc
경우 명령이 작동, Digdag가 성공적으로 설치됩니다.digdag --help
(참고 : zsh를 사용하는 경우 ) ~/.zshrc로 대신 파일을 수정하십시오 ~/.bashrc.
맥북의 경우 ~/.zshrc 로 변경!
오류가 있으면 자바 JDK를 설치해야 합니다.
'Unsupported major.minor version 52.0' 과 같은 오류가 발생하는 경우 최신 Java SE Development Kit 8 ( 8u72 이상이어야 함 )을 다운로드하여 설치하십시오 .
2. 샘플 워크 플로 실행
digdag init <dir> 명령은 샘플 워크 플로우를 생성합니다.
digdag init mydag cd mydag digdag run mydag.dig
반응형'Data Engineering' 카테고리의 다른 글
Data 저장 및 운용 방식 용어 정리 (0) 2023.07.07 Digdag 설치하기 (workflow) (0) 2022.05.27 데이터의 이동을 쉽게 해보자! Embulk 사용하기 (Test용 DB설치 포함, postgresql) (0) 2021.05.21