AI 聊天机器人在按下回车与首个字出现之间发生了什么

在典型 LLM 中，一条消息在回复开始前要经过约十几个独立阶段。模型是无状态的，每次请求都需重建完整对话历史，导致输入 token 随轮次累积，成为对话产品的主要成本。输入文档的组装（即上下文工程）会影响回答质量，且不同产品基于同一模型也可能给出不同答案。