Fine-tuning

Fine-tuning이란 말 그대로 미세조정으로, 이미 학습된 모델에 추가 데이터를 학습시키는 것을 말합니다. 이렇게 하여 AI를 특정 사용 환경에 최적화시킬 수 있습니다.

단, Fine-tuning도 결국 규모가 작지만 모델 학습이기 때문에 자원 요구량이 높습니다. 제가 보았던 가장 낮은 사양은 Google Colab을 사용하는 것인데, 이것도 대규모 모델일 경우 거의 불가능하거나 엄청난 시간이 소요되는 것으로 알고 있습니다.

OpenAI와 같은 일부 서비스는 별도의 Fine-tuning API를 제공하기도 합니다.

PEFT (Parameter-Efficient Fine-Tuning)

PEFT는 모델의 전체 파라미터 중 일부만을 조정하는 Fine-tuning 방식입니다.

적은 비용으로 효과적인 학습을 수행할 수 있고, 넓은 범위에 적용할 수 있다는 장점이 있습니다.

Reference

Finetune LoRA on CPU using llama.cpprentry_co

GPT4ALL: Train with local data for Fine-tuningMedium

거대 언어 모델 튜닝을 위한 미니멀리스트 접근법: 1부 - PEFT 알아보기TISTORY