반응형
Llama 2
-
Llama 2 설명 및 ChatGPT를 활용한 논문 요약Machine Learning 2023. 7. 19. 09:17
2023년 7월 18일 Meta에서 Llama 2 버전을 출시하였습니다. 1 버전과 다른 점은 "진짜" 오픈소스라는 점! 공개된 버전은 7B, 13B, 70B Token의 수는 1 버전보다 늘어난 4096 학습된 Token의 수는 1조개에서 늘어난 2조개..ㄷㄷㄷ Fine-tuning 방식도 RLHF + Human Feedback을 추가했다고 하네요. 그리고 이번에는 Chat Model도 출시가 됐기 때문에 Queatization만 잘하면 바로 사용도 가능한 모델이라고 생각됩니다. 4Bit, 128g 나오면 바로 써봐야 겠네요 ㅎㅎ 휴먼 피드백에서 민감한 내용은 제외하게 학습을 해서, 모델 자체도 안전해졌다고 하네요. 꼭 한번 읽어보시길 바랍니다. 아쉽지만 학습된 데이터는 거의 영어네요..ㅠㅠ 성능 자체..