2026-07-31-using-a-transformer-model-from-training-to-inference-12074ac243
Transformer 모델 사용: 학습부터 추론까지
Machine Learning Mastery
편집자 요약
이 장은 Autoregressive Generation, Prefill and Decode, Simple KV Cache, KV Cache의 메모리 사용의 4개 부분으로 구성되어 있습니다. decoder-only transformer 모델은 앞에 나온 토큰들을 바탕으로 다음 토큰을 예측합니다.
인사이트
생성형 AI를 이해하려면 다음 토큰 예측 방식과 KV Cache의 역할을 함께 보는 것이 중요합니다. 예제 코드를 통해 prefill과 decode가 어떻게 나뉘는지 확인하면 추론 과정을 더 쉽게 익힐 수 있습니다.
댓글
댓글을 불러오는 중…