AI Agent Concepts · 02

Next-token Prediction:模型怎麼生成文字

把推論拆成 prefill 與 decode:模型先讀完整 input,再一個 token 一個 token 生成。

句子展示區

準備中

Input tokens
LLM

Top-5 候選 token