一次请求的四道工序：分词、预填充、解码、流式输出

📋 概述

你输入一句问题按下回车，短暂停顿后字一个接一个出现。作者用一座「词语工厂」解释这个停顿与这种逐个浮现：传送带上有四台机器——切词机把问题切成小块，阅读机有很多只眼睛、同时读所有块，打字机一次只写一块，传送带把刚写好的那块立刻送到你手机上，上方还挂着一本笔记。工程上的正式名字是 tokenize、prefill、decode、stream，所谓推理引擎就是跑这套流程的工厂。分词几乎不花时间，模型只认数字，token 通常是一个词或词的一部分；预填充才是真正决定「第一个字要等多久」的阶段：不管 6 个 token 还是 600 个，阅读机一口气全读，边读边往笔记里记下每个 token 的含义以及它跟其他 token 的关系，这本笔记就是 KV 缓存。于是结论很直接：问题越长，等第一个词的时间就越长。