DataCook DataCook

공식사이트 What’s Digdag? — Digdag 0.10.1 documentation Digdag는 workflow를 쉽게 만들어 줍니다. 반복되어야하는 과정이나, 자동화를 시켜야 하는 부분일 때, 사용합니다. 쉘 스크립트와 파이썬을 범용해서 실행시킬 수 있습니다. 1. 최신 버전 다운로드 Digdag는 단일 실행 파일입니다. 다음과 같은 명령을 ~/bin사용하여 파일을 설치할 수 있습니다 curl. 순차대로 입력하면 설치가 됩니다. curl -o ~/bin/digdag --create-dirs -L "https://dl.digdag.io/digdag-latest" chmod +x ~/bin/digdag echo 'export PATH="$HOME/bin:$PATH"' >> ~/.bashrc 터미널..

안녕하세요. 오늘 소개해드릴 학습예제는 Yolov5입니다. 유튜브를 보다가 빵형의 개발도상국을 운영하시는 분의 유튜브를 보고서 mask 데이터셋으로 실험을 했습니다. www.youtube.com/channel/UC9PB9nKYqKEx_N3KM-JVTpg 빵형의 개발도상국 신기하고 재밌는 인공지능을 쉽게, 짧게, 내손으로 만들어 봅니다! 빵형의 개발도상국 후원: https://toon.at/donate/helloworld 사업 및 개발의뢰: kairess87@gmail.com 더 재밌는 영상이 여러분들의 후원을 통 www.youtube.com github.com/ultralytics/yolov5 ultralytics/yolov5 YOLOv5 in PyTorch > ONNX > CoreML > TFLite...

Embulk를 사용하다가 MariaDB -> Postgresql 로 데이터를 이관하는 작업을 진행을 맡았다.. 그리고 테스트로 도커 환경에서 시작했고, 처음에 jdbc 오류부터 해서 오만가지 에러가 떴다.. 1번 에러 java.lang.RuntimeException: java.lang.ClassNotFoundException: com.mysql.jdbc.Driver 아니 이건 path 설정을 몇번을 하고, docker 내에 넣어도 안되고, 외부에 빼놔도 인식을 못했다. 그래서 그냥 embulk 옵션에서 driver_path 옵션을 빼 버렸다..ㅋㅋㅋ 2번 에러 The server time zone value 'KST' is unrecognized or represents more than one time..

import argparse def arg_test(opt): p1 = opt.test_a p2 = opt.test_b p3 = opt.test_c print(p1,p2,p3) if __name__ == '__main__': parser = argparse.ArgumentParser() parser.add_argument('--test-a', type=str, default='good1', help='argument 1') parser.add_argument('--test-b', type=str, default='good2', help='argument 2') parser.add_argument('--test-c', type=str, default='good3', help='argument 3') opt..

Homebrew(홈브류) 설치 및 사용법, MacOS에서 프로그램을 쉽게 다운로드 및 삭제할 수 있는 패키지 관리자 설치전 사이트 참고 바랍니다. postgresql은 Homebrew를 이용해서 설치를 진행합니다. 바로 테스트용 brew install postgresql initdb /usr/local/var/postgres pg_ctl -D /usr/local/var/postgres start createdb test1 # login db psql test1 Embulk란? 출처 : https://jungwoon.github.io/bigdata/2017/08/31/Embulk_Setup.html Embulk 설치 및 기본 사용법 | Jungwoon Blog Embulk 설치 및 기본 사용법에 대해서 알..

안녕하세요~ 요새 한창 코인에 빠져있어서 예전에 주가 예측한 코드를 조금 구체적으로 만들었습니다. 저번주부터 블로그에 올려야지 올려야지 하면서 미루기만 했네요 ㅋㅋㅋ;; 물론 그냥 추세를 보기 위함이고, 이걸로 투자를 하기에는 조금 부족하지 않나 싶지만, 코인 차트만 보기 심심해서 한 3~4일 정도 시간을 투자해서 만들었네요. Traing모드, 학습된 결과로 예측 그래프만 그리는 정도로 나눴습니다. 일부로 한개의 코인에 대한 시세만 반영하기 때문에 오버피팅을 목적으로 했습니다. 원래 같으면 오버피팅은 절대 하면 안되는 것이지만, 생각을 달리하고, 추세만 알기 위해서 일부로 오버피팅을 진행했습니다. 전체 코드는 깃허브에 올려놨습니다. github.com/Joonyeong97/Upbit_Coin_Predic..

Tensorflow - GPU 사용하기 coding-groot.tistory.com/87 Tensorflow와 호환되는 CUDA, cuDNN 설치하는 법 Tensorflow와 그 버전과 호환되는 CUDA, cuDNN까지 설치하는 법 이번 글에서는 Tensorflow 설치법부터 그 Tensorflow의 gpu와 호환되는 CUDA, cuDNN 설치법까지 설명해보겠다. (설치할 기기는 NVIDIA GPU를 사용하.. coding-groot.tistory.com m.blog.naver.com/dschae9/221692479176 cuda 10.1, tensorflow, pycharm 윈도우 환경이 엉켜서 초기화를 했습니다.그래서 tensorflow 관련 프로그램을 모두 새로 설치하게 됐습니다... blog.na..

혼자서 upbit의 코인들을 예측하고 있는 프로젝트가 있는데, 예측 결과를 색상으로 다르게 표현하고 싶어서 찾아보다가 유용해서 퍼왔습니다. 응용도 조금 섞었습니다. from matplotlib import pyplot as plt import numpy as np # X,y 선언 y = np.array([2,5,7,8,13,14,13,12,10,5,2]) x = np.arange(len(y)) # 생성 제외할 값의 기준 threshold = 10 # line plot plt.plot(x, y, color='blue') below_threshold = y < threshold # Add above threshold markers above_threshold = np.logical_not(below_thre..