DataCook DataCook

사실 이 개념은 나온지는 오래된 개념이지만Bert, RoBERTa처럼 그렇게 크지 않은 모델을 사용할 때는 그냥 Full-fine tuning을 진행하지 굳이 LoRA를 사용하지는 않았습니다.Bert-Base: 450M, RoBERTa: 1.3GB 정도입니다.Llama가 나오면서 이 모델들을 Full Fine tuning을 하기에는 컴퓨팅 소스가 매우 크기 때문에 LoRA가 빛을 발했다고 저는 생각합니다.개념은 기존의 Pre-trained Layer의 가중치는 고정을 한체, 새로운 레이어의 가중치만을 학습을 시키는데도, 실제 성능의 차이가 많지 않다고 합니다.동작 방식은 기존 LLM Model은 RAM에 저장을 하고 CPU inference만 진행하고, LoRA 가중치는 GPU에 저장을 해서 학습을 진행..

Model 32bit 4bit 32g Llama 7B 13GB 4GB Llama 13B 26GB 8GB Llama 30B 66GB 19.4GB 이미 파라미터 수가 13B 넘어서는 순간부터는 가정에서 쓰이는 GPU로는 돌릴 수가 없는 모델이죠 4090 기준으로도 GPU Memory는 24GB이기 때문에 이론상 7B Model만 사용 가능합니다. 하지만 Quantization 기술을 활용하면 성능을 조금 포기하고, 매우 큰 LLM Model도 GPU에 Load하여 사용할 수 있습니다. 실제로도 HuggingFace에 "TheBloke" 라는 이름으로 매번 새로운 Fine-tune 모델들이 올라오면 Quantization 한 후에 prompt까지 제공을 해주는 아주 고마운 분들이 있죠, 덕분에 저희는 이미 Q..

2023년 7월 18일 Meta에서 Llama 2 버전을 출시하였습니다. 1 버전과 다른 점은 "진짜" 오픈소스라는 점! 공개된 버전은 7B, 13B, 70B Token의 수는 1 버전보다 늘어난 4096 학습된 Token의 수는 1조개에서 늘어난 2조개..ㄷㄷㄷ Fine-tuning 방식도 RLHF + Human Feedback을 추가했다고 하네요. 그리고 이번에는 Chat Model도 출시가 됐기 때문에 Queatization만 잘하면 바로 사용도 가능한 모델이라고 생각됩니다. 4Bit, 128g 나오면 바로 써봐야 겠네요 ㅎㅎ 휴먼 피드백에서 민감한 내용은 제외하게 학습을 해서, 모델 자체도 안전해졌다고 하네요. 꼭 한번 읽어보시길 바랍니다. 아쉽지만 학습된 데이터는 거의 영어네요..ㅠㅠ 성능 자체..

Web server와 WAS(Web Application Server)는 웹 애플리케이션을 실행하기 위한 서버 소프트웨어입니다. 다음은 각각의 순기능과 주요 차이점을 깔끔하게 정리한 후, 간단한 예시를 제시합니다: Web server: 순기능: 클라이언트로부터 HTTP 요청을 받아 정적인 웹 페이지를 제공합니다. HTML, CSS, JavaScript, 이미지 등 정적인 콘텐츠를 제공합니다. HTTP 프로토콜 기반으로 동작하며, 클라이언트와의 요청 및 응답을 처리합니다. WAS와의 차이점: 주로 정적인 콘텐츠 제공에 특화되어 있습니다. 대표적인 웹 서버: Apache HTTP Server, Nginx 예시: 클라이언트로부터 /index.html 요청을 받으면 서버에서 해당 정적 파일을 반환하여 클라이언트..

안녕하세요! 여러분 Machine Learning의 기초부터 새로 배울 수 있는 Project를 소개합니다. Google for Developers에서 Machine Learning BootCamp 4기를 모집한다고 합니다. 저는 Machine Learning BootCamp 1기 참여자로서, 많은 애정을 가지고 참여했던 프로그램입니다. 이 Project를 통해서 부족했던 기초를 처음부터 다시 다지는 계기가 되었으며, 현재 ML Engineer 역할에 매우 큰 도움이 되었습니다! Machine Learning 기본 개념을 Coursera 강의 수강과 함께 배우실 수 있으며, 교육이 끝나면 Kaggle Project 기반으로 새로운 Insight를 얻어가는 기회가 될 것이라고 생각합니다. 이보다 좋게 De..

전체 소스: https://github.com/Joonyeong97/langchain-summarize-bot GitHub - Joonyeong97/langchain-summarize-bot: PDF Summarize Bot PDF Summarize Bot. Contribute to Joonyeong97/langchain-summarize-bot development by creating an account on GitHub. github.com langchain과 결합하여, PDF를 한글로 요약하는 봇 입니다. ChatGPT가 나오고 나서, 만들었던 토이 프로젝트였는데, 공개를 까먹고 있다가 지금 공개합니다. 요약이 되면서 텍스트가 나오게끔 만들었습니다. 요약이 된 텍스트는 텍스트가 저장됩니다. 로컬에..

https://betterdatascience.com/python-310-vs-python-311/ Python is About to Become 64% Faster - Python 3.10 vs. Python 3.11 Benchmark | Better Data Science Let’s compare Python 3.10 vs. Python 3.11 in an extensive benchmark test. Spoiler alert: Python 3.11 is up to 64% faster! betterdatascience.com 변경사항 참고 Python 3.11로 업데이트 되면서 성능 개선이 있다고 하였습니다. 공식 이미지가 있지만, 공식 이미지를 기반으로 만들다보니 에러가 많이 발생해서, Python..

Data Lake: 데이터 레이크는 구조화되지 않은 원시 데이터부터 반구조화 및 구조화된 데이터에 이르기까지 모든 유형의 데이터를 저장할 수 있는 시스템입니다. 데이터 레이크는 대용량의 원시 데이터를 그대로 저장하며, 이는 데이터 웨어하우스와는 대조적으로 필요에 따라 데이터를 쿼리하고 분석할 수 있게 해줍니다. Operational Data Store (ODS): ODS는 다른 데이터베이스에서 추출된 현재의 트랜잭션 데이터를 중간 저장소에 보관하는 시스템입니다. ODS는 일반적으로 실시간의 비즈니스 활동을 분석하는 데 사용됩니다. CDW (Corporate Data Warehouse): CDW는 조직의 전체 데이터를 통합적으로 관리하고 보관하는 중앙 데이터 저장소입니다. 이는 분석, 보고서 작성, 의사결..