DataCook DataCook

1. Parameter-Efficient Fine-Tuning & Model Compression LoRA저차원 어댑터(LoRA)를 삽입하여 효율적인 미세조정 수행QLoRA4비트 정밀도 양자화와 LoRA를 결합하여 소비자 GPU에서도 튜닝 가능GPTQGPT 모델에 적합한 양자화 기법으로 성능 저하 없이 경량화SparseGPT중요하지 않은 파라미터를 제거하여 모델 크기 축소PEFT (HF)다양한 파라미터 효율적 튜닝 기법을 통합한 HuggingFace 프레임워크BitsAndBytes8비트 옵티마이저 및 4비트 양자화를 지원하여 메모리 절약AdaLoRA네트워크 층마다 LoRA 적용 범위를 동적으로 조절P-Tuning v2지속적으로 학습 가능한 프롬프트를 통해 미세조정 수행2. Data Management &..