#lora

강경원· 7월 17일 · 7분 읽기

LoRA와 QLoRA - 적은 자원으로 LLM 파인튜닝하기

LLM을 우리 도메인에 맞게 길들이고 싶을 때 가장 먼저 떠오르는 건 파인튜닝 입니다. 그런데 수십억 개 파라미터를 통째로 다시 학습하려면 GPU가 몇 장씩 필요합니다. 이 부담을 확 낮춘 기법이 LoRA 이고, 거기서 메모리를 한 번 더 줄인 것이 QLoRA 입니다. 이 글에서는 두