-
Digdag 설치하기 (workflow)Data Engineering 2022. 5. 27. 23:36반응형
공식사이트
What’s Digdag? — Digdag 0.10.4 documentation
Digdag는 workflow를 쉽게 만들어 줍니다.
반복되어야하는 과정이나, 자동화를 시켜야 하는 부분일 때, 사용합니다.
쉘스크립트와 파이썬을 범용해서 실행시킬 수 있습니다.
1. 최신 버전 다운로드
windows wsl2(ubuntu)
Digdag는 단일 실행 파일입니다. 다음과 같은 명령을 ~/bin사용하여 파일을 설치할 수 있습니다 curl.
순차대로 입력하면 설치가 됩니다.
curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest" chmod +x ~/bin/digdag echo 'export PATH="$HOME/bin:$PATH"' >> ~/.bashrc
터미널 창을 다시 열거나 PATH 변경 사항이 적용되도록 다음 명령을 입력하십시오.
source ~/.bashrc
경우 명령이 작동, Digdag가 성공적으로 설치됩니다. digdag --help
mac os
Digdag는 단일 실행 파일입니다. 다음과 같은 명령을 ~/bin사용하여 파일을 설치할 수 있습니다 curl.
순차대로 입력하면 설치가 됩니다.
curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest" chmod +x ~/bin/digdag echo 'export PATH="$HOME/bin:$PATH"' >> ~/.zshrc
터미널 창을 다시 열거나 PATH 변경 사항이 적용되도록 다음 명령을 입력하십시오.
source ~/.zshrc
경우 명령이 작동, Digdag가 성공적으로 설치됩니다.digdag --help
오류가 있으면 자바 JDK를 설치해야 합니다.
'Unsupported major.minor version 52.0' 과 같은 오류가 발생하는 경우 최신 Java SE Development Kit 8 ( 8u72 이상이어야 함 )을 다운로드하여 설치하십시오 .
2022.05.27 - [Programming/Linux] - open jdk8 설치하기 (windows wsl2, mac)
2. 샘플 워크 플로 실행
digdag init <dir> 명령은 샘플 워크 플로우를 생성합니다.
digdag init mydag cd mydag digdag run mydag.dig
반응형'Data Engineering' 카테고리의 다른 글
Data 저장 및 운용 방식 용어 정리 (0) 2023.07.07 Workflow Engine Digdag 소개 및 Local 설치 (0) 2021.08.10 데이터의 이동을 쉽게 해보자! Embulk 사용하기 (Test용 DB설치 포함, postgresql) (0) 2021.05.21