AI Agent Concepts · 02
Next-token Prediction:模型怎麼生成文字
把推論拆成 prefill 與 decode:模型先讀完整 input,再一個 token 一個 token 生成。
句子展示區
準備中
Input tokens
→
LLM
把推論拆成 prefill 與 decode:模型先讀完整 input,再一個 token 一個 token 生成。