aillmfinetuning
파인튜닝 vs RAG vs 프롬프트 - 언제 무엇을 쓸까
조회 1
LLM으로 뭔가 만들려고 하면 곧 이 갈림길을 만납니다. "우리 데이터를 어떻게 넣지? 파인튜닝? RAG? 아니면 프롬프트로 어떻게든?" 세 가지는 경쟁 기술이 아니라 서로 다른 문제를 푸는 도구입니다. 잘못 고르면 돈과 시간을 크게 낭비합니다.
이 글은 세 방법의 본질적 차이를 짚고, "언제 무엇을 쓸지"를 판단하는 의사결정 프레임워크에 집중합니다. RAG 내부 구현은 별도 글로 다루니 여기선 선택 기준만 봅니다.
1. 세 방법의 본질 차이
한 문장씩으로 정리하면 이렇습니다.
- 프롬프트: 요청할 때 지침·예시를 말로 넣는다. (모델은 그대로)
- RAG: 답하기 직전에 관련 문서를 찾아 컨텍스트에 넣는다. (모델은 그대로, 지식만 외부 주입)
- 파인튜닝: 모델 가중치 자체를 추가 학습시킨다. (모델이 바뀐다)
비유하면 이렇습니다. 시험을 보는 학생이 있다고 합시다.
| 방법 | 비유 |
|---|---|
| 프롬프트 | 시험지에 "이런 식으로 답해"라고 요령을 적어 줌 |
| RAG | 오픈북 시험 — 관련 페이지를 펼쳐서 보게 함 |
| 파인튜닝 | 시험 전에 그 과목을 몸에 배도록 훈련시킴 |
여기서 결정적 감각이 나옵니다. RAG는 "무엇을 아는가(지식)" 를 다루고, 파인튜닝은 "어떻게 하는가(스타일·행동·형식)" 를 다룹니다. 프롬프트는 그 둘 다 가볍게 건드리지만 용량과 일관성에 한계가 있습니다.
2. 항목별 비교표
| 기준 | 프롬프트 | RAG | 파인튜닝 |
|---|---|---|---|
| 바꾸는 대상 | 요청 방식 | 주입되는 지식 | 모델 자체 |
| 최신 정보 반영 | 수동으로 넣어야 | 문서만 갱신하면 됨 | 재학습 필요 |
| 초기 구축 비용 | 거의 없음 | 중간(파이프라인) | 높음(데이터+학습) |
| 요청당 비용 | 낮음 | 중간(검색+긴 컨텍스트) | 낮음(짧은 프롬프트) |
| 출처 추적 | 어려움 | 가능(인용) | 불가 |
| 스타일·형식 체화 | 제한적 | 제한적 | 강함 |
| 반영 속도 | 즉시 | 빠름(재색인) | 느림(학습 주기) |
이 표만 봐도 감이 옵니다. 최신성·출처가 중요하면 RAG, 말투·형식·행동의 일관성이 중요하면 파인튜닝, 일단 빠르게 검증하려면 프롬프트입니다.
3. 의사결정 프레임워크
실제로 고를 때 던지는 질문 순서입니다.
질문 1. 프롬프트만으로 되는가?
항상 여기서 시작하세요. 프롬프트는 가장 싸고 빠른 지렛대입니다. 역할·예시·출력 형식만 잘 잡아도 생각보다 많은 문제가 풀립니다. 여기서 안 되는 것만 다음으로 넘깁니다.