티스토리

DataCook
검색하기

블로그 홈

DataCook

datacook.tistory.com/m

Email : lyt970120@gmail.com

구독자
9
방명록 방문하기
반응형

주요 글 목록

  • 비동기 프로그래밍과 동기 프로그래밍의 차이 비동기 프로그래밍의 핵심 목적과 동기 프로그래밍과의 차이점을 이해하려면, 먼저 두 접근 방식의 기본적인 작동 방식을 이해해야 합니다. 비동기 프로그래밍의 목적 효율성 향상: 비동기 프로그래밍은 프로그램이 I/O 작업(예: 네트워크 요청, 디스크 읽기/쓰기)을 기다리는 동안 다른 작업을 수행할 수 있도록 함으로써 리소스 활용도를 극대화합니다. 동시성 증가: 여러 작업이 동시에 수행될 수 있어, 특히 웹 서버와 같은 멀티 유저 환경에서 성능이 크게 향상됩니다. 응답성 개선: 사용자 인터페이스와 같이 실시간으로 반응하는 애플리케이션에서 사용자 경험을 개선합니다. 동기 프로그래밍과의 차이점 동기 프로그래밍: 블로킹 동작: 동기 프로그래밍에서, 한 작업(함수 호출 등)이 완료될 때까지 프로그램의 실행은 그 작업에.. 공감수 0 댓글수 0 2023. 12. 22.
  • How to Optimize FastAPI for ML Model Serving https://luis-sena.medium.com/how-to-optimize-fastapi-for-ml-model-serving-6f75fb9e040d How to Optimize FastAPI for ML Model Serving If you do I/O alongside ML model serving, this will definitely make your FastAPI service faster. luis-sena.medium.com 공감수 0 댓글수 0 2023. 10. 4.
  • Docker Image 경량화 방법 - 1부 제가 사용하는 방식은 Develop Image의 용량이 너무 커서, 줄이는 방법을 고안하면서 터득했던 방법론을 공유하고자 합니다. 실제 개발에 사용하고 있고, 많은 테스트를 진행한 결과입니다. 3부작으로 나누었습니다. 1부 일반적인 패키지 관리 방법 2부 멀티스테이징 빌드 3부 ENTRYPOINT를 활용한 마지막 경량화 대부분 Deploy 이미지를 구축하는 방법에 대해서는 많은 레퍼런스가 있기 때문에 그런 부분부터 보고 오시면 조금 더 이해가 쉬울 수 있습니다. 일단 Docker Image는 다수의 이미지 레이어의 결합체입니다. 예를들어서, 이런 이미지와 FROM ubuntu:20.04 RUN apt-get update --yes RUN apt-get install --yes --no-install-re.. 공감수 1 댓글수 0 2023. 8. 8.
  • Web Server와 WAS(Web Application Server)의 차이 Web server와 WAS(Web Application Server)는 웹 애플리케이션을 실행하기 위한 서버 소프트웨어입니다. 다음은 각각의 순기능과 주요 차이점을 깔끔하게 정리한 후, 간단한 예시를 제시합니다: Web server: 순기능: 클라이언트로부터 HTTP 요청을 받아 정적인 웹 페이지를 제공합니다. HTML, CSS, JavaScript, 이미지 등 정적인 콘텐츠를 제공합니다. HTTP 프로토콜 기반으로 동작하며, 클라이언트와의 요청 및 응답을 처리합니다. WAS와의 차이점: 주로 정적인 콘텐츠 제공에 특화되어 있습니다. 대표적인 웹 서버: Apache HTTP Server, Nginx 예시: 클라이언트로부터 /index.html 요청을 받으면 서버에서 해당 정적 파일을 반환하여 클라이언트.. 공감수 0 댓글수 0 2023. 7. 18.
  • ChatGPT를 활용한 PDF 요약봇 만들기 전체 소스: https://github.com/Joonyeong97/langchain-summarize-bot GitHub - Joonyeong97/langchain-summarize-bot: PDF Summarize Bot PDF Summarize Bot. Contribute to Joonyeong97/langchain-summarize-bot development by creating an account on GitHub. github.com langchain과 결합하여, PDF를 한글로 요약하는 봇 입니다. ChatGPT가 나오고 나서, 만들었던 토이 프로젝트였는데, 공개를 까먹고 있다가 지금 공개합니다. 요약이 되면서 텍스트가 나오게끔 만들었습니다. 요약이 된 텍스트는 텍스트가 저장됩니다. 로컬에.. 공감수 0 댓글수 0 2023. 7. 14.
  • Python 3.11.4 Base Docker Image 만들기 https://betterdatascience.com/python-310-vs-python-311/ Python is About to Become 64% Faster - Python 3.10 vs. Python 3.11 Benchmark | Better Data Science Let’s compare Python 3.10 vs. Python 3.11 in an extensive benchmark test. Spoiler alert: Python 3.11 is up to 64% faster! betterdatascience.com 변경사항 참고 Python 3.11로 업데이트 되면서 성능 개선이 있다고 하였습니다. 공식 이미지가 있지만, 공식 이미지를 기반으로 만들다보니 에러가 많이 발생해서, Python.. 공감수 0 댓글수 0 2023. 7. 14.
  • PostgreSQL Tuning 종류 인덱싱(Indexing) 인덱싱은 데이터베이스의 성능을 최적화하기 위한 가장 기본적인 방법 중 하나입니다. 인덱스는 테이블의 열(column)에 대한 정렬된 데이터 구조입니다. 인덱스를 사용하면 데이터베이스에서 원하는 데이터를 빠르게 검색할 수 있습니다. 특히 WHERE, JOIN, ORDER BY, GROUP BY 등의 작업에서 인덱스를 사용하면 실행 속도를 향상시킬 수 있습니다. 쿼리 최적화(Query Optimization) 쿼리 최적화는 SQL 쿼리를 더 빠르게 실행하기 위한 방법입니다. 이 방법은 쿼리의 실행 계획을 확인하여 최적의 실행 계획을 찾는 것입니다. 쿼리 실행 계획은 데이터베이스 엔진이 쿼리를 실행하기 전에 만들어지며, 이를 확인하여 쿼리 실행 속도를 빠르게 만들 수 있습니다. 정규화.. 공감수 0 댓글수 0 2023. 3. 9.
  • Jenkins Github 로컬에서 Webhook 사용하기 일단 Github에서 Webhook을 사용하려면 Jenkins에 DNS 설정이 되어있어서 외부에서도 연결이 가능해야 합니다. 하지만 우리는 로컬에서 사용해볼 것이기 때문에 ngrok를 사용해서 진행해보겠습니다. https://ngrok.com/ ngrok - Online in One Line Zero Trust Add SSO, Mutual TLS, IP Policy, and webhook signature verification. ngrok.com 간단하게 회원가입 후 jenkins port를 맞춰서 열어주면 됩니다. 사용법은 너무 간단해서 스킵하겠습니다. 최종적으로 본인의 포워딩된 주소를 가져오면 됩니다. 본인이 배포할 github 프로젝트에 들어간 뒤에 Settings를 클릭해줍니다. Webhooks.. 공감수 1 댓글수 0 2022. 7. 31.
  • Jenkins pipeline 만들어서 배포하기(Python FastAPI 배포 환경 구축 - 2) 2022.07.29 - [Programming/Jenkins] - Jenkins Docker-compose로 시작하기 (Python FastAPI 배포 환경 구축 - 1) Jenkins Docker-compose로 시작하기 (Python FastAPI 배포 환경 구축 - 1) jenkins란? https://ict-nroo.tistory.com/31 [Jenkins] 젠킨스란 무엇인가 What is jenkins? 젠킨스는 소프트웨어 개발 시 지속적으로 통합 서비스를 제공하는 툴이다. CI(Continuous Integration) 툴 이라고 표.. datacook.tistory.com git https://github.com/Joonyeong97/fastapi GitHub - Joonyeong97/fa.. 공감수 0 댓글수 1 2022. 7. 31.
  • Github 개발자용 Secret key 발급 방법 (jenkins Credentials 생성) github에서 개발자용 Secret key 발급 방법을 소개합니다. 매우 간단하므로 한번 보면 다음에는 바로 사용할 수 있습니다. 본인 github로 들어갑니다. Settings 클릭 맨 밑에 Developer settings 클릭! Personal access tokens 클릭 후에 오른쪽에 Geneate new token 클릭! jenkins만 사용 할거기 때문에 repo, admin:org, admin:repo_hook 3개만 체크해줍니다. 개인용 personal key가 발급됐습니다. github에서 push할 때는 아이디 입력 후에 password 입력할 때 저 키를 붙여넣기 하시면 됩니다. jenkins에서 Credentials 등록시에도 ID는 github ID와 password는 위에 발.. 공감수 0 댓글수 0 2022. 7. 31.
  • Jenkins Docker-compose로 시작하기 (Python FastAPI 배포 환경 구축 - 1) jenkins란? https://ict-nroo.tistory.com/31 [Jenkins] 젠킨스란 무엇인가 What is jenkins? 젠킨스는 소프트웨어 개발 시 지속적으로 통합 서비스를 제공하는 툴이다. CI(Continuous Integration) 툴 이라고 표현한다. 다수의 개발자들이 하나의 프로그램을 개발할 때 버전 충돌을 ict-nroo.tistory.com jenkins가 뭔지 모른다면 한번은 보고오시는걸 추천드립니다. 우리가 최종적으로 해볼 것은 1. git push 2. jenkins에서 git pull 및 docker image build, docker-compose up, docker image push 까지 진행합니다. jenkins 서버를 배포하기 위해서 jenkins 공식.. 공감수 0 댓글수 0 2022. 7. 29.
  • Python FastAPI를 이용해서 빠르게 API 환경 구축하기 https://github.com/Joonyeong97/fastapi GitHub - Joonyeong97/fastapi: fastapi start fastapi start. Contribute to Joonyeong97/fastapi development by creating an account on GitHub. github.com 스타터를 위한 github 주소입니다. docker-compose를 이용해서, 바로 실행이 가능합니다. 빠른 설정을 위한 Dockerfile도 생성해놨고, build script도 포함되어 있습니다. fastapi 구현방법은 간단합니다. from typing import Union, Optional from fastapi import FastAPI from function.. 공감수 0 댓글수 0 2022. 7. 28.
  • Python3 Flask를 이용해서 Rest-API Server 만들기! Flask란? https://justkode.kr/python/flask-restapi-1 Flask로 REST API 구현하기 - 1. Flask-RESTX 이번 시간에는 Flask로 간단히 REST API를 주고 받는 API Server를 만들어 보겠습니다. Flask란? Flask는 Python 기반의 Micro Web Framework 입니다. 배우기 쉽고, 간단한 코드 구현과 자유도가 높다는 점이 장점 justkode.kr 플라스크(Flask)는 파이썬으로 작성된 마이크로 웹 프레임워크의 하나로, Werkzeug 툴킷과 Jinja2 템플릿 엔진에 기반을 둔다. BSD 라이선스이다. 플라스크의 최신 안정판은 2017년 5월 기준으로 1.1.1이다.[2] 플라스크 프레임워크를 사용하는 애플리케이션에.. 공감수 0 댓글수 0 2022. 6. 26.
  • python 시간 계산 start_dt = '2022-04-20 00:05:34' end_dt = '2022-04-20 12:19:17' from datetime import datetime def get_seconds(start_dt,end_dt,fm='%Y-%m-%d %H:%M:%S'): time_1 = datetime.strptime(start_dt,fm) time_2 = datetime.strptime(end_dt,fm) return (time_2 - time_1).seconds get_seconds(start_dt,end_dt) Result: 44023 공감수 0 댓글수 0 2022. 4. 20.
  • JAVA 직렬화(Serialize)란? Serialize(직렬화)가 무엇인가? 객체를 데이터스트림으로 만드는것이다. 즉 객체에 저장된 데이터를 스트림에 쓰기위해 연속적인 데이터를 변환하는것. 반대로 스트림으로부터 데이터를 읽어 객체를 만드는것은 역직렬화(Deserialization)입니다. 직렬화 사용이유는 객체 자체를 영속적으로 보관할때 사용하는데 파일형태로 저장되어 네트워크를 통해 전송이 가능합니다. 장점으로는 자바와 자바시스템간 개발이 최적화가 되어있어 다른 라이브러리나 추가적인 환경구성이 필요없고 또한 역직렬화 할 경우 기존 객체처럼 사용이 가능합니다. JVM(Java Virtual Machine)의 메모리에 상주(힙 or 스택)되어 있는 객체데이터를 바이트로 변환하는 기술입니다. 직렬화방법은 여러 Format이 존재합니다. -표형태의.. 공감수 0 댓글수 0 2022. 3. 20.
  • Python argparse 사용하기! (터미널에서 python을 실행할 때, 옵션을 쉽게주자) import argparse def arg_test(opt): p1 = opt.test_a p2 = opt.test_b p3 = opt.test_c print(p1,p2,p3) if __name__ == '__main__': parser = argparse.ArgumentParser() parser.add_argument('--test-a', type=str, default='good1', help='argument 1') parser.add_argument('--test-b', type=str, default='good2', help='argument 2') parser.add_argument('--test-c', type=str, default='good3', help='argument 3') opt.. 공감수 0 댓글수 0 2021. 5. 28.
  • [matplotlib]플롯의 특정 부분만 색상 변경하기 혼자서 upbit의 코인들을 예측하고 있는 프로젝트가 있는데, 예측 결과를 색상으로 다르게 표현하고 싶어서 찾아보다가 유용해서 퍼왔습니다. 응용도 조금 섞었습니다. from matplotlib import pyplot as plt import numpy as np # X,y 선언 y = np.array([2,5,7,8,13,14,13,12,10,5,2]) x = np.arange(len(y)) # 생성 제외할 값의 기준 threshold = 10 # line plot plt.plot(x, y, color='blue') below_threshold = y < threshold # Add above threshold markers above_threshold = np.logical_not(below_thre.. 공감수 0 댓글수 0 2021. 4. 6.
  • (로컬)Python에서 Google Drive 공유파일 다운로드 받는 방법 Jupyter notebook에서는 Anaconda prompt를 이용해서 pip install gdown 설치 진행 import gdown google_path = 'https://drive.google.com/uc?id=' file_id = '1Of_X6StezV0vwE0WrQ7MNbIFjITkW4dJ' output_name = 'animals_images.zip' gdown.download(google_path+file_id,output_name,quiet=False) 드라이브 파일이 공유되어있다는 가정하에 링크를 복사하면 뒤에 파일 아이디가 붙습니다. 뒤에 있는 아이디만 잘라내서 작성하면 다운로드가 됩니다. 사용시 google_path는 냅두고 file_id만 수정하시면 됩니다. output_na.. 공감수 0 댓글수 0 2021. 4. 2.
  • 명사 사전 만들기(우리말샘) opendict.korean.go.kr/service/openApiInfo 우리말샘 - 오픈 API 서비스 소개 1. 우리말샘 오픈 API 서비스 소개 우리말샘 오픈 API는 검색 플랫폼을 외부에 공개하여 다양하고 재미있는 서비스 및 애플리케이션을 개발할 수 있도록 외부 개발자와 사용자들이 공유하는 프로 opendict.korean.go.kr 자연어처리를 하다보면 명사 사전이 필요할 때가 있다.. 정말 고맙게도 우리말샘에서 Open API로 여러가지 우리나라말이나 외국말들을 공유해주고 있다. 분명 작년에 사전을 구할때는 API 형식으로 한번에 한번 request만 가능했는데, 지금은 사전형태를 배포하고 있네요. 회원가입 후 내 정보관리 들어가시면 있습니다. 다운받아서 열어보면 대략 이런 형태를 띄고 있습.. 공감수 1 댓글수 4 2021. 3. 12.
  • Python 기초 공부 - 7 (numpy) numpy 계산만 진행합니다. # flask : 웹 서버 기능, 5000번 포트로 서비스 import matplotlib # 시각화 패키지 import numpy as np # 클래스로 구성되어 있다. as : 별칭 print(np.__version__) # __는 상위 오브젝트가 가지고 있는 속성이라는 의미 def pprint(arr): print("type : {}".format(type(arr))) print("shape : {}, dimension : {}, dtype : {}".format(arr.shape, arr.ndim, arr.dtype)) # 차수 3개다, 차원 1차원이다, 데이터 타입 숫자의 default는 int32 print("Array's Data : \n",arr) arr = .. 공감수 0 댓글수 0 2021. 3. 9.
  • Python 기초 공부 - 8 (Pandas,numpy) %matplotlib inline import mglearn import matplotlib.pyplot as plt mglearn.plots.plot_scaling() 정규화 표준편차를 구하는 이유 : 중심으로부터 이격이 얼마나 있는가를 확인하기 위해 분석에서는 분산이 커야 주성분 (분산이 크면 왜 이런 분포인지, 어떻게 줄일 수 있는지 연구대상이 됨) z-score (관측치-평균)/표준편차 표준화 => 표준정규분포 (확률) import pandas as pd import numpy as np df = pd.DataFrame([[1, np.nan, 2],[2,3,5],[np.nan,4,6]]) df df.dropna() df.dropna(axis='columns') df[3] = np.nan df.dr.. 공감수 0 댓글수 0 2021. 3. 9.
  • Python 기초 공부 - 6 (Pandas) python : 문자열 처리 - 검색, 분리(split), 추출, 대체, 결합, 공백처리 - 문자열의 기본자료구조는 배열 (1차원 배열) 정규표현식 (regular expression) : re => 모든 언어에서 똑같은 방식으로 처리 - 패턴으로 처리 smiles = "C(=N)(N)N.C(=0)(0)0" # 1차원 배열 print(smiles[0]) print(smiles[1]) print(smiles[-1]) print(smiles[1:5]) print(smiles[10:-4]) C ( 0 (=N) C(=0) # 단어찾기 s = "That that is is that that is" print(s.count('t')) s = s.lower() print(s.count("that")) s.find(".. 공감수 0 댓글수 0 2021. 3. 8.
  • 추천사이트 정리 계속 추가될 예정입니다. -Tensorflow 전이학습 dschloe.github.io/python/tensorflow2.0/ch8_2_transfer_learning/#iii-%EC%A0%84%EC%9D%B4%ED%95%99%EC%8A%B5-%EB%AA%A8%ED%98%95-%EC%8B%A4%EC%8A%B5-%EC%98%88%EC%A0%9C 공감수 0 댓글수 0 2021. 3. 8.
  • Python 기초 공부 - 5 (mariaDB 연동) Maria DB연동 진행 연결 방법 import pymysql def sql_connect(): conn = pymysql.connect(host='localhost', # host 주소 입력 ip주소 user='username', # db에 접근할 user id port=8888, # host의 port번호 password='password', # 비밀번호 db='dbname', # 접속할 DB이름 charset='utf8mb4', use_unicode=True, cursorclass=pymysql.cursors.DictCursor) return conn Select 사용시 def select(date): conn = sql_connect() cur = conn.cursor() sql ="""SELEC.. 공감수 0 댓글수 0 2021. 3. 7.
  • Python 기초 공부 - 4 4일차 2019.12.30 객체 지향 프로그래밍 (class -> (instance) Object) Class : 멤버변수(속성) + 멤버함수(공유되어 지어짐) 인스턴스할 때 멤버변수(속성)을 저장하는 공간만 확보 class Triangle: def setData(self, width, height): # 함수를 이용한 초기화 self.width=width self.height=height def area(self): # self는 매개변수 취급을 안함, 넣어야만 함수로 만들수있음. return self.width*self.height/2 tri1 = Triangle() # 인스턴스 한다. () 함수처럼 tri1.setData(10,20) print(tri1.width, tri1.height, tri1... 공감수 0 댓글수 0 2021. 3. 6.
  • Python 기초 공부 - 3 # 함수 (function) # - 함수이름은 중복이 되면 안됨 (오버로딩은 default 매개변수로 해결) # - Required auguments(매개변수를 순서적으로 입력) # - keyword auguments(키이 매개변수의 순서 변경이 가능) # - default auguments(오버로딩해결) # - Variable-length auguments(변동매개변수 : * -> list, ** -> dict) a=10 b=20 result = a+b print(result) c=30 d=40 result = c+d print(result) def addvalue(a,b): # ab=10, bd=20 주소값만 전달 call by reference return a+b print(addvalue(10,2.. 공감수 0 댓글수 0 2021. 3. 5.
  • Python 기초 공부 - 2 2일차 반복문 num1 = 6 num1 += 1 # num1 = num1 + 1 num2 = 7 num2 -= 5 # num2 = num2 - 1 num3 = 8 num3 /= 2 # num3 = num3 / 2 print(num1,num2,round(num3)) num1 = 1 num1 *= 3 num2 = 2 num2 **= 3 # ^ , ** print(num1, num2) 7 2 4 3 8 # 3항 연산자 x = 5 ans = 'Non-negative' if x>=10 else 'Negative' print(ans) Negative city = ' '# 문자열 거짓, 공백도 문자열, 숫자:0, list:[], dict:{}, tuple:() 모두 거짓 if city: # 조건이 참인 경우만 실행 .. 공감수 0 댓글수 0 2021. 3. 4.
  • Python 기초 공부 - 1 2년전 처음 시작했던 파이썬 공부내용 작성 1일차 # fullName 문자열 : 기본이 1차원 배열 , 숫자 int :4byte, float : 4byte fullName = input("이름을 입력하세요 : ") n = fullName.rfind(" ") # 리버스파인드 거꾸로부터 찾아라 print(fullName[0]) # 배열과 리스트의 인덱싱은 동일하다. print(fullName[1]) print(fullName[2]) print("이름 : ", fullName[1:]) # : print("성(s): ", fullName[:1]) # 문자열은 '' "single quotation", "korea" ; double quotation # """""" : 3개인 경우는 입력하는대로 저장함 s = "k.. 공감수 0 댓글수 0 2021. 3. 4.
  • Ubuntu 16.04/18.04 Qgis 설치방법 (2version/3version) QGIS 설치방법 ●기존 QGIS 2버전을 설치하려면 sudo apt-get update && sudo apt-get install qgis python-qgis qgis-plugin-grass ●총 3개를 같이 설치하면 가능합니다. (위에 코드가 3개 다 설치하는 코드입니다.) QGIS python-qgis qgis-plugin-grass ●3.x 버전 설치방법 sudo nano /etc/apt/sources.list 편집기를 이용하여 apt-get 소스리스트에 입장 후 맨 마지막줄에 입력 deb https://qgis.org/debian bionic main deb-src https://qgis.org/debian bionic main 추가후 ctrl+x 후 Enter ●차례대로 명령어 실행 wget.. 공감수 0 댓글수 2 2021. 2. 6.
  • Python PEP8 요약 목 차 1. PEP 8 이란 무엇인가? 2. Whitespace 3. Naming 3 - 1 Naming Style 3 - 2 피해야 할 이름 4. 표현식과 문장 4 - 1 주석 4 - 2 뒤에 오는 콤마(Trailing comma)를 사용할 경우 4 - 3 변수 주석 5. import 8. 상수(constants) 9. 함수선언 10. 빈줄 11. 예외 설정(Error) 1. PEP 8 이란 무엇인가? ● PEP8 전체 가이드 ● PEP8 : 파이썬 개선 제안서 파이썬 코드를 어떻게 구상할 지 알려주는 스타일 가이드 ● 다른 사람과 원활하게 협업하려면 공통된 스타일 공유가 필요 합니다. ● 일관성 있는 스타일은 나중에 수정하기 쉽습니다. 2. Whitespace ● 들여쓰기는 Space 4번을 이용합니.. 공감수 0 댓글수 0 2021. 2. 6.
    반응형
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.