Linux를 처음 사용하면 꼭 배워야할 자료들

데이터 엔지니어 실무에서 사용하기 위하여 기본적으로 알아야 하는 리눅스

사이트 정리 글

 

 

centos랑 ubuntu는 비슷하면서도 다릅니다.

만든 사람이 다르니깐요.

주로 실무에서는 centos를 서버용으로 많이 씁니다.

ubuntu는 docker image에 많이들 사용하구요.

 

주로 많이 다른 점은 아무래도, 프로그램을 설치할 때 다릅니다.

ubuntu는 apt or apt-get으로

centos는 yum으로

둘다 패키징을 설치해주는 프로그램입니다.

다운 받을 패키지를 업데이트하고 그런 점은 비슷하다고 볼 수 있겠네요.

 

1.

기본 Shell script 사용 방법

- 변수 및 for, if, 함수 등등

https://reakwon.tistory.com/136

 

2.

Inode 및 Symbolic link

Inode 개념은 파일들의 정보가 담겨있는 거라 생각보다 많이 중요합니다.

알고가면 좋습니다.

나중에 DB를 다루다 보면, temp(임시)파일들이 inode에 저장이 될때가 있어서, 곤욕을 치를수도 있습니다.

 

symbolic link는  지속적으로 데이터가 변하는 상황에서 같은 파일을 유지하기 위해서

파일이나 폴더의 바로가기를 설정하는 것 입니다.

윈도우에서는 바로가기 느낌이라고 보면 됩니다.

Workflow 작성할 때나, git Submodules를 이용할 때 요긴하게 사용합니다.

 

https://reakwon.tistory.com/142?category=300674 

[리눅스] Inode와 심볼릭 링크(Symbolic Link), 하드 링크(Hard Link) 개념과 실습

 

3.

리눅스의 경로

생각보다 중요합니다.

대부분 리눅스를 처음 사용하시면, 윈도우와는 다르게 CLI환경 즉 SHELL에서 타자로 입력을 주고 받을 때가 많습니다.

그리고 파일을 가르킬 때도 많습니다.

그래서, 꼭 개념은 알고 가야합니다.

절대경로와 상대경로의 차이

 

1줄 요약:

절대경로는 어디서는 접근할 때, 사용되는 경로, ex) /usr/local

상대경로는 지금 현재 내가 있는 디렉토리에서 가는 방법 ex) ./usr/local

두개는 매우 다릅니다.

 

*팁으로 ../ 를 사용하시면 내가 있는 폴더에서 전 폴더로 넘어갑니다.

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=haejoon90&logNo=220725377063 

리눅스 명령어를 알아보자 ! (절대경로, 상대경로 실습)

 

4.

AWK 사용하기

생각보다 CSV를 이용해서 문자를 비교할 때가 많습니다.

그럴 때 유용하게 사용합니다.

문법은 그렇게 어렵지 않습니다.

입력 데이터를 잘라서 행을 표현을 해주는 거니깐요.

어려워 하지 마세요. 별거 아닙니다. 모르면 구글링 하면 돼요.

https://recipes4dev.tistory.com/171

리눅스 awk 명령어 사용법. (Linux awk command) - 리눅스 파일 텍스트 데이터 검사, 조작, 출력.

5.

CURL 사용하기

이제는 API가 매우 당연하게 된 세상입니다.

데이터를 불러올 때도, 밀어 넣을 때도, API를 사용합니다.

많은 사용자에 대비하기엔 이것만한 것이 없으니깐요.

우리는 CURL을 자주 사용하게 될 겁니다.

파일을 다운 받을 때도, 아니면 json 형식으로 데이터를 받아올 때도요.

매우 범용적이라서, 언어와 상관없이 어디서든 사용이 가능합니다.

인터넷만 된다면요.

https://kim-dragon.tistory.com/47

[Linux명령어]curl 주요 옵션 설명

 

6.

** Docker

사실 가장 중요한 부분입니다.

이제 Docker가 없이는 리눅스는 살 수 없을 정도니깐요.

생겨난지는 10년이 좀 넘었습니다.

가상의 OS를 설치한다고들 알고 계신 분들이 많은데,

사실은 하나의 프로세스 입니다.

그리고, Docker engine 을 통해서 숨겨진 디렉토리에 들어가서 작업한다고 보면 됩니다.

하나의 컴퓨터에서 별도의 개발환경(다른 리눅스 OS)을 구축할 수 있기 때문에, 매우매우 중요하고 좋은 겁니다.

꼭 배워야하고, 실무에서는 정말 많이 사용합니다.

 

기본적으로는 BASE가 되는 이미지 위에다가 내가 원하는 것들을 설치해서 저장해놓고 배포해서 사용합니다.

왜냐하면 언제 어디서든 어떤 컴퓨터가 사용을 하던간에 동일하게 작동을 할 수가 있습니다.

물론 하드웨어적으로 받쳐준다면요.

 

도커는 명령어가 다양합니다.

한가지의 이미지를 다루는 docker(엔진포함)

여러개의 이미지를 다루는 docker-compse(다수의 이미지)

여러 docker-compose를 다루는 kubernetes 및 portainer

등이 있습니다.

 

처음에는 한가지의 이미지만을 사용하다가, 점차 서비스가 커지면 커질수록 더 관리가 용이하게끔 넘어가는 것이죠

기본 개념을 모르신다면, 구글링도 좋지만 책을 한번 보고나서 도전하심을 추천드립니다.

막상 이해하고나면 별거 없어요.

 

이건 책 추천! 딱 절반까지만 봐도 실무에 전혀 지장 없습니다.

 

http://www.yes24.com/Product/Goods/64320759?OzSrank=3 

완벽한 IT 인프라 구축을 위한 Docker - YES24

 

끝. 다들 재밌는 개발 하세요.