#llm

강경원· 12일 전 · 2분 읽기

우아한테크코스 8기에서 LLM을 활용한 백엔드 성능 향상 경험 — 3가지 실제 사례 분석과 배운 교훈

우아한테크코스 8기에서 LLM 대규모 언어 모델 을 활용한 백엔드 성능 향상 경험을 공유하고자 한다. LLM을 통해 실제 프로젝트에서 어떻게 성능을 개선했는지, 그리고 그 과정에서 어떤 트레이드오프와 함정을 겪었는지를 살펴보겠다. 사례 1: 자동화된 코드 리뷰 시스템 첫 번째 사례는 코

다 같은 시험 봤다는데 점수가 왜 다를까? 메모리 API 4곳 벤치마크 뜯어본 후기

어제 글을 올리고, 메모리 시스템을 자체 개발하는 메모리 API들에 대해 좀 더 알아봤다.어제 쓴 글은 ChatGPT나 클로드처럼 우리가 직접 쓰는 서비스 안에 내장된 메모리 얘기였다. 근데 오늘 알아본 "메모리 API"는 결이 좀 다르다. 이건 소비자가 쓰는 완성된

이건 뭐야?「대한민국 인공지능 윤리원칙」

2026년 8월 21일, 관계부처 합동으로 「대한민국 인공지능 윤리원칙」이 나왔다. AI 기본법 제27조에 근거한 자율규범이고, 3대 가치와 7대 원칙으로 구성되어 있다. 뭐 이런 게 나왔나보다 하면서 쭉 스크롤을 내리는데, 용어 정의에서 한 문장에 걸렸다.

AI Native 조직은 도메인 지식을 어떻게 공유하는가

하네스 엔지니어링? - 1

요즘 "하네스 엔지니어링(Harness Engineering)"이라는 말이 자꾸 보인다. 2026년 초에 Terraform 만든 Mitchell Hashimoto가 블로그에 쓰면서 퍼졌고, OpenAI랑 Anthropic도 바로 관련 글을 냈다.

LLM이 뱉은 마크다운 예절 고치기

LLM 예절 지키기

계약서 문구를 LLM에게 맡기며 정한 것들 — 실패해도 계약은 열려야 한다

LLM에게 문서를 맡기는 일은 쉽습니다. 어려운 건 LLM이 실패했을 때 그 문서가 어떻게 되어야 하는가를 정하는 쪽입니다. 특히 그 문서가 계약서라면요.이 글은 프리랜서 매칭 플랫폼 페어링에서 협상이 타결된 뒤 계약서 본문을 자동으로 작성하는 기능을 만들며 내린 결정

강경원· 8월 17일 · 3분 읽기

LLM과 함께하는 React 애플리케이션 디자인 패턴 — 5가지 혁신적 접근법과 적용 사례

React 애플리케이션을 개발하다 보면 다양한 디자인 패턴을 접하게 된다. 특히 최근에는 LLM 대규모 언어 모델 을 활용한 접근법이 주목받고 있다. 이 글에서는 LLM과 함께 하는 혁신적인 React 애플리케이션 디자인 패턴을 5가지 소개하고, 각 패턴의 적용 사례를 통해 실제 개발에

강경원· 8월 15일 · 3분 읽기

React와 LLM의 통합 — 4개월간의 최적화 과정과 사용자 경험 개선 효과

React와 LLM의 통합은 요즘 많은 개발자들 사이에서 화두가 되고 있다. 특히 사용자 경험을 극대화하기 위한 다양한 시도들이 이루어지고 있다. 이번 글에서는 4개월간의 최적화 과정을 통해 얻은 인사이트와 사용자 경험 개선 효과를 다뤄보겠다. React와 LLM 통합의 필요성 LLM

채점을 AI한테 시켰더니 내 채점기의 버그를 잡았다

3편에서 채점기가 두 번 틀렸다는 이야기를 썼다. 잘린 JSON을 빵점 처리한 것, 잘한 답에 벌점을 준 것. 둘 다 사람이 답안을 다시 읽다가 잡은 실수였다.그 채점기가 그 뒤로 두 번 더 틀렸다는 걸 알게 됐다. 이번에 잡은 건 사람이 아니라 AI다.영어권에서 AI

강경원· 8월 12일 · 4분 읽기

React와 AI 통합 — 실제로 만들어본 LLM 기반 챗봇의 성능과 개선 사항

최근 AI 기술이 급격히 발전하면서, React와 같은 프론트엔드 프레임워크와의 통합이 활발히 이루어지고 있다. 이 글에서는 LLM 대규모 언어 모델 기반 챗봇을 React로 구현한 경험을 바탕으로 성능과 개선 사항에 대해 다뤄보고자 한다. 실제로 개발하면서 마주친 트레이드오프와 함정들

AI 엔지니어 도전기..!(2일차)

KDT 첫 팀 프로젝트 School bridge 가정통신문을 읽어 학부모가 할 일을 추출하고 8개 언어로 번역하는 서비스. (언어는 추가가 더 가능함) 단순 번역이 아니라 중요한 내용들만 콕콕 찝어서 추출해 번역해주는 AI로 기획했다. 요즘은 가정통신문을 다 어플

RAG is dead, long live RAG?! - 2024, 2025, 2026 RAG 트렌드 연대기

2026년 8월 지금, "RAG"라는 단어가 헤드라인에서 사라지고 있습니다. 벡터 DB에 청크 넣던 그 RAG는 어디로 갔을까요? - Agentic Retrieval

AI 엔지니어 도전기..!(1일차)

이스트 소프트 KDT HUMAN AI 과정을 끝마쳤다. 길 줄 알았던 5개월이 순식간에 지나갔지만, 이렇게 기록으로 남길 일이 없어서 별로 머릿속에 남는게 없는 느낌이다...내일부터는 수업하면서 노션에 필기해뒀던 내용들을 이곳에 하나 하나 적어나갈 예정이다.취업 할 때

AI 시험지는 함정이 9할이다

지난 글에서 AI한테 주문 읽기 시험을 냈다가 출제자인 내가 5번 진 이야기를 했다.오늘은 그 시험지를 어떻게 만들었는지다. 결론부터 말하면 — 착한 문제는 낼 필요가 없다.시험을 만들라고 하면 누구나 잘 되는 경우부터 쓴다. "택배박스 250 5박스 주세요" → 택배

AI한테 시험을 냈는데 출제자가 5번 틀렸다

주문 메시지를 읽는 AI를 만들기 전에 테스트 29개부터 만들었다. 모델은 치명 오류 0건으로 통과했는데, 정작 내가 쓴 정답지가 3번, 채점기가 2번 틀렸다. AI를 검증하려다 검증당한 기록.

🤖 [AI] LLM Wiki로 AI 부려먹기

클로드야 이제는 기억도 네가 해주라

OmniRoute: 여러 AI Provider를 하나의 엔드포인트로 묶는 로컬 AI Gateway

OmniRoute는 Claude Code, Codex, Cursor 같은 AI 개발 도구 앞에 로컬 게이트웨이 하나를 두고, 여러 모델 제공자를 OpenAI 호환 API로 통합하는 오픈소스 프로젝트다.단순히 요청 주소를 바꾸는 프록시에 머물지 않는다.

강경원· 7월 23일 · 5분 읽기

RAG 제대로 이해하기 - LLM에 '내 지식'을 붙이는 법

LLM은 똑똑하지만 두 가지 약점이 있습니다. 모르는 걸 아는 척 할루시네이션 하고, 학습 시점 이후의 최신 정보나 우리 회사 내부 문서를 모른다 는 점입니다. 이 둘을 가장 현실적으로 해결하는 방법이 RAG Retrieval Augmented Generation, 검색 증강 생성 입니

강경원· 7월 22일 · 6분 읽기

트랜스포머와 어텐션 - LLM은 어떻게 다음 단어를 예측할까

ChatGPT에게 질문하면 그럴듯한 문장이 술술 나옵니다. 그런데 그 내부를 들여다보면, LLM이 실제로 하는 일은 놀랍도록 단순합니다. "지금까지의 문장 다음에 올 단어를 확률적으로 고르는 것" , 그게 전부입니다. 이 단순한 예측을 무섭게 잘하게 만든 구조가 트랜스포머 Transfo

강경원· 7월 21일 · 6분 읽기

토큰과 토크나이저 - LLM이 글자를 읽는 방식

LLM API를 써보면 "토큰"이라는 단위를 자주 만납니다. 요금도 토큰으로 매기고, 컨텍스트 한도도 토큰으로 표시됩니다. 그런데 토큰은 우리가 생각하는 "단어"나 "글자"와 정확히 일치하지 않습니다. LLM은 사람처럼 글자를 읽는 게 아니라, 자기만의 방식으로 텍스트를 조각내서 읽기

강경원· 7월 20일 · 5분 읽기

임베딩(Embedding) 완전 이해 - 의미를 숫자로 바꾸기

컴퓨터는 "사과"와 "바나나"가 비슷하고 "사과"와 "자동차"가 다르다는 걸 어떻게 알까요? 글자만 비교하면 "사과"와 "사고"가 더 비슷해 보일 텐데 말이죠. 이 문제를 푸는 열쇠가 임베딩 Embedding 입니다. 텍스트의 의미를 숫자 벡터로 바꿔 , 의미가 비슷하면 숫자도 가깝게

강경원· 7월 19일 · 6분 읽기

프롬프트 엔지니어링 실전 - 원하는 답을 얻는 법

같은 모델에게 같은 일을 시켜도, 어떻게 묻느냐 에 따라 결과 품질이 극단적으로 갈립니다. "요약해줘"와 "3문장으로, 핵심 지표 중심으로, 존댓말로 요약해줘"는 전혀 다른 답을 냅니다. 프롬프트 엔지니어링은 마법 주문이 아니라, 모델에게 원하는 것을 오해 없이 전달하는 커뮤니케이션 기

강경원· 7월 18일 · 5분 읽기

파인튜닝 vs RAG vs 프롬프트 - 언제 무엇을 쓸까

LLM으로 뭔가 만들려고 하면 곧 이 갈림길을 만납니다. "우리 데이터를 어떻게 넣지? 파인튜닝? RAG? 아니면 프롬프트로 어떻게든?" 세 가지는 경쟁 기술이 아니라 서로 다른 문제를 푸는 도구 입니다. 잘못 고르면 돈과 시간을 크게 낭비합니다. 이 글은 세 방법의 본질적 차이를 짚고

강경원· 7월 17일 · 7분 읽기

LoRA와 QLoRA - 적은 자원으로 LLM 파인튜닝하기

LLM을 우리 도메인에 맞게 길들이고 싶을 때 가장 먼저 떠오르는 건 파인튜닝 입니다. 그런데 수십억 개 파라미터를 통째로 다시 학습하려면 GPU가 몇 장씩 필요합니다. 이 부담을 확 낮춘 기법이 LoRA 이고, 거기서 메모리를 한 번 더 줄인 것이 QLoRA 입니다. 이 글에서는 두

강경원· 7월 16일 · 5분 읽기

추론 모델과 Test-Time Compute - LLM이 '생각'한다는 것

같은 문제를 줘도 어떤 모델은 곧바로 답을 뱉고, 어떤 모델은 한참 "생각"한 뒤 답을 냅니다. 후자가 요즘 말하는 추론 모델 reasoning model 이고, 그 배경에는 test time compute 라는 개념이 있습니다. 이 글에서는 LLM이 답 전에 생각을 길게 하는 게 왜

강경원· 7월 15일 · 6분 읽기

함수 호출(Function Calling) - LLM에게 도구를 쥐여주기

LLM은 학습된 지식으로 그럴듯한 문장을 만들지만, 실시간 재고를 조회 하거나 결제를 취소 하거나 정확한 계산 을 하지는 못합니다. 이 한계를 넘는 표준적인 방법이 함수 호출 Function Calling , 즉 LLM에게 도구 tool 를 쥐여주는 것입니다. 이 글에서는 함수 호출이

강경원· 7월 14일 · 6분 읽기

AI 에이전트 이해하기 - ReAct와 계획-실행 루프

함수 호출로 LLM에 도구를 쥐여줬다면, 그다음 질문은 자연스럽습니다. "목표만 던지면 알아서 여러 단계를 밟아 끝내주면 안 되나?" 이 아이디어가 AI 에이전트 agent 이고, 그 대표적인 동작 방식이 ReAct 와 계획 실행 루프 입니다. 이 글에서는 에이전트가 무엇이고, 어떤 루

에이전트 함대의 해부 — AI 180개로 하루에 버그 55개를 잡은 검증 파이프라인

LLM 에이전트 180개를 파인더-검증자 투표 구조로 묶어 하루에 버그 55개를 확정했다. 오탐 0을 만든 적대 검증 파이프라인의 설계와 한계.

강경원· 7월 13일 · 5분 읽기

MCP(Model Context Protocol) - AI에 표준 연결 단자 달기

함수 호출로 도구를 연결하고 에이전트까지 만들다 보면 곧 새로운 고민이 생깁니다. "이 도구 연결을 매번, 앱마다, 모델마다 다시 짜야 하나?" 이 파편화 문제를 표준으로 풀려는 시도가 MCP Model Context Protocol 입니다. 이 글에서는 MCP가 왜 나왔고, 어떤 구조

23년 동안 살아남은 동네슈퍼를 데이터로 분석해보려 합니다. (2편)

한동안 블로그에 글을 올리지 못했습니다. 현재 저는 군에서 복무하고 있습니다. 전역한 뒤에는 가능한 한 빨리 PM, PO, AI-native, AX와 관련된 현업에 들어가 실제 제품을 만들고, 조직이 일하는 방식을 경험해보고 싶습니다. 그 마음이 생각보다 꽤 간절해

강경원· 7월 12일 · 8분 읽기

pgvector 실전 - PostgreSQL로 벡터 검색하기

RAG를 만들려면 임베딩 벡터를 어딘가에 저장하고, 질문 벡터와 가까운 것들을 빠르게 찾아야 합니다. 전용 벡터 DB Pinecone, Qdrant 등 를 도입할 수도 있지만, 이미 쓰고 있는 PostgreSQL에 pgvector 확장 만 얹으면 대부분의 실무 요구는 충분히 해결됩니다.

강경원· 7월 11일 · 5분 읽기

LLM 평가 - 답변 품질을 어떻게 측정할까

프롬프트를 고치고, RAG를 붙이고, 모델을 바꿉니다. 그런데 정말 나아진 걸까요? 일반 소프트웨어라면 테스트가 초록불이면 됩니다. 하지만 LLM은 같은 질문에 매번 다른 문장으로 답하고, 정답도 하나가 아닙니다. 이 글에서는 왜 LLM 평가가 어려운지, 그리고 실무에서 품질을 수치로

강경원· 7월 10일 · 5분 읽기

할루시네이션 - LLM이 거짓말하는 이유와 줄이는 법

LLM에게 존재하지 않는 API 함수를 자신 있게 알려주거나, 없는 논문을 그럴듯한 제목과 저자까지 붙여 인용하는 경험, 다들 한 번쯤 있으실 겁니다. 이렇게 모델이 사실이 아닌 내용을 사실처럼 생성하는 현상 을 할루시네이션 hallucination, 환각 이라고 부릅니다. 이 글에서는

강경원· 7월 9일 · 5분 읽기

컨텍스트 윈도우와 롱컨텍스트 - 길다고 다 좋을까

"이번 모델은 컨텍스트 100만 토큰 " 같은 홍보를 자주 봅니다. 그래서 "문서를 통째로 넣으면 RAG 같은 거 필요 없는 거 아냐?"라는 생각이 들기도 합니다. 하지만 컨텍스트가 길다고 무조건 좋은 것은 아닙니다. 길이에는 대가가 따르고, 길다고 잘 읽는 것도 아닙니다. 이 글에서는

강경원· 7월 8일 · 6분 읽기

구조화된 출력 - LLM에서 안정적으로 JSON 받기

LLM을 챗봇이 아니라 시스템의 한 부품 으로 쓰기 시작하면, 곧 이 벽에 부딪힙니다. "답변을 자연어로 받으면 코드에서 어떻게 파싱하지?" LLM의 출력을 다음 단계 코드가 소비하려면, 자유서술이 아니라 예측 가능한 구조 주로 JSON 로 받아야 합니다. 이 글에서는 자유서술의 문제부

AI가 내 프롬프트를 흘려듣는 이유: 원리부터 다시 본 컨텍스트 엔지니어링

분명 가이드에 다 적었는데, 왜 안 될까요? 분명 가이드에 다 적어놨습니다. 그런데 AI는 또 엉뚱한 코드를 내놓았습니다. 저는 디자인 시스템 안에서 MCP(Model Context Protocol) 서버 개발을 주도하고 있었습니다. AI가 우리 디자인 시스템 규칙에 맞는 코드를 생성하도록 가이드하는 게 목적이었고, 그러려면 우리가 원하는 코드가 무엇인지를

강경원· 7월 7일 · 6분 읽기

LLM 추론 최적화 - 양자화와 KV 캐시

LLM을 직접 서빙해보면 학습보다 추론 inference 이 더 골치 아프다는 걸 금방 알게 됩니다. GPU 메모리는 순식간에 꽉 차고, 토큰은 느리게 나오고, 비용은 요청량에 비례해 불어납니다. 다행히 추론을 가볍게 만드는 두 가지 핵심 기술이 있습니다. 바로 양자화 Quantizat

강경원· 7월 6일 · 6분 읽기

로컬 LLM 실행 - Ollama로 내 PC에서 모델 돌리기

LLM을 쓰려면 무조건 API 키를 발급받고 요청마다 돈을 내야 할까요? 꼭 그렇지는 않습니다. 요즘은 내 노트북에서 직접 모델을 돌리는 것 이 놀랄 만큼 쉬워졌습니다. 그 중심에 있는 도구가 Ollama 입니다. 마치 docker run 하듯 ollama run 한 줄로 모델을 받아

강경원· 7월 5일 · 5분 읽기

멀티모달 LLM - 이미지를 이해하는 모델

지금까지 LLM은 텍스트만 읽고 텍스트만 답하는 존재였습니다. 하지만 이제는 이미지를 던져주고 "이게 뭐야?" 라고 물을 수 있습니다. 스크린샷을 붙여 버그를 물어보고, 차트를 보여주며 요약을 시키고, 손글씨 영수증을 표로 바꾸는 일이 한 번의 프롬프트로 됩니다. 이것이 멀티모달 LLM

강경원· 7월 4일 · 6분 읽기

LLM 앱 보안 - 프롬프트 인젝션 막기

전통적인 웹 보안에 SQL 인젝션이 있다면, LLM 시대에는 프롬프트 인젝션 Prompt Injection 이 있습니다. 이름은 비슷하지만 성질이 훨씬 고약합니다. SQL 인젝션은 코드와 데이터를 분리하면 막을 수 있지만, LLM은 명령과 데이터를 똑같은 자연어로 받아들이기 때문에 근본

우아한공방의 새로운 동료, 시스템 맥락을 가진 챗봇서비스 개발기(feat. RAG)

AI로 생성한 이미지 들어가며 디자인시스템플랫폼팀은 코어(Core, 토큰/아이콘 과 같은 디자인 리소스, 베이스 컴포넌트 등 공통 기반을 정의하는 계층), 클레이(Clay, 코어 토큰을 기반으로 Base 컴포넌트에 테마를 적용해 사용 가능한 컴포넌트 라이브러리를 제공하는 계층), 몰드(Mold, Clay/Base컴포넌트를 기반으로 각 도메인/비즈니스 요구사