#transformer
관련 글 2건
- velog수집됨 · 2일 전
Mamba - Attention 없이 문맥을 이해하는 방법
Mamba는 과거를 어떻게 기억할까?
mambassmtransformer♡ 2
강경원· 7월 22일 · 6분 읽기트랜스포머와 어텐션 - LLM은 어떻게 다음 단어를 예측할까
ChatGPT에게 질문하면 그럴듯한 문장이 술술 나옵니다. 그런데 그 내부를 들여다보면, LLM이 실제로 하는 일은 놀랍도록 단순합니다. "지금까지의 문장 다음에 올 단어를 확률적으로 고르는 것" , 그게 전부입니다. 이 단순한 예측을 무섭게 잘하게 만든 구조가 트랜스포머 Transfo
aillmtransformer`트랜스포머와 어텐션 - LLM은 어떻게 다음 단어를 예측할까