DataCook DataCook

Docker Image를 만들다 보면 이게 잘 만들어졌는지 테스트가 필요할 때가 많은데, 이럴 때마다 entrypoint를 실행하기까지 조금 부담스러울 때, 사용되는 방법입니다. 파일이 어떤 형식으로 배치 되었는지, 불필요한 파일과 필요한 파일을 분리하거나, 필요없는 dependency가 설치되었는지, 내가 원하는 실행 파일이 설치 되었는지 확인이 필요할 때가 많습니다. 아무것도 실행하지 않는 도커 컨테이너를 실행하는 방법은 여러 가지가 있습니다. 아래의 방법 중 하나를 선택하여 사용할 수 있습니다. 빈 컨테이너 실행: 가장 간단한 방법은 빈 컨테이너를 실행하는 것입니다. 이렇게 하면 실행 중인 프로세스가 없는 컨테이너가 생성됩니다. docker run -d --name empty_container ub..

docker 에서 GPU 사용시 꼭 nvidia에서 제공하는 toolkit 설치해야 합니다. 그리고 해당 서버에 nvidia driver가 설치되어 있어야 합니다. docker run 할 때와 docker-compose up 할 때의 셋팅법이 다르니 꼭 compose 까지 셋팅을 해야합니다. 1. nvidia toolkit install Installation Guide — NVIDIA Cloud Native Technologies documentation 2. docker-compose.yml 수정 Enabling GPU access with Compose runtime: nvidia 추가 (test) services: test: image: nvidia/cuda:10.2-base command: nv..

Windows의 Ubuntu안에서 실행 방법 초기 Git 설치 방법 1. sudo apt를 이용해서 update 진행 sudo apt update 2. sudo apt를 이용해 git 설치 sudo apt install git 3. Git version 확인 (설치 확인용) git --version 기존 Git이 있는 경우 Update 방법 sudo add-apt-repository ppa:git-core/ppa -y && sudo apt-get update && sudo apt-get install git -y 공통 (windows, mac) 에러 방지용 설정 진행 (mount 해제 및 재설정) error: chmod on /mnt/c/test/kbsmc/.git/config.lock failed: O..

windows apt-get을 이용해서 openjdk 8 버전을 설치 합니다. sudo apt-get install openjdk-8-jdk vim ~/.bashrc 위 명령어를 입력합니다. 그 후 해당파일의 가장 아래라인에 아래의 텍스트를 입력합니다. export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export PATH="$PATH:$JAVA_HOME/bin" 해당 라인이 추가 되었으면 저장 후 밖으로 빠져나옵니다. 그 후 적용을 위해서 아래의 명령어를 입력해 줍니다. source ~/.bashrc 이 후 제대로 적용이 되었는지 확인하기 위해서 아래의 명령어를 입력합니다. echo $JAVA_HOME 아래와 같이 값이 출력된다면 제대로 입력된 것입니다. /us..

데이터 엔지니어 실무에서 사용하기 위하여 기본적으로 알아야 하는 리눅스 사이트 정리 글 centos랑 ubuntu는 비슷하면서도 다릅니다. 만든 사람이 다르니깐요. 주로 실무에서는 centos를 서버용으로 많이 씁니다. ubuntu는 docker image에 많이들 사용하구요. 주로 많이 다른 점은 아무래도, 프로그램을 설치할 때 다릅니다. ubuntu는 apt or apt-get으로 centos는 yum으로 둘다 패키징을 설치해주는 프로그램입니다. 다운 받을 패키지를 업데이트하고 그런 점은 비슷하다고 볼 수 있겠네요. 1. 기본 Shell script 사용 방법 - 변수 및 for, if, 함수 등등 https://reakwon.tistory.com/136 2. Inode 및 Symbolic link ..

기본가이드 ※ 우분투를 처음시작하는 사람을 위해 작성하였습니다. 모든 예제는 Command 기준입니다. 제일 기본이 되는 복사 / 붙여넣기 Ctrl+insert / shift+insert 터미널에 명령어 복붙하실때 사용하시면 됩니다. 그 외 UI를 이용하여 문서를 작성하거나 구글 스프레드시트, docs를 사용할땐 윈도우와 동일하게 ctrl + c / ctrl + v 로 가능합니다. ● 초기루트암호 설정법 ○ sudo passwd root ○ 터미널에 입력후 root 사용자 암호 설정, centos는 설치당시에 입력하지만 ○ 우분투는 설치후에 따로 입력합니다. ● 우분투는 apt 라는 명령어를 이용해서 프로그램을 설치합니다. ○ 처음 설치후 터미널에 입력후 진행하시면 됩니다. ○ 그 외로 특정 프로그램을 ..