LLM 是如何工作的

为什么同样一句提问,模型每次回答都可能不同?为什么输入一整本手册后,要等很久才出现第一个字?为什么聊天记录越来越长,调用开销也越来越大?

这些问题都与模型处理 Token 和上下文的方式有关。本节只讲会影响应用设计的机制,不展开数学推导。

Token:模型处理文本的单位

文本进入模型前,需要经过 Tokenizer,转换成一串 Token ID。Token 可以对应词、词的一部分、标点或字节片段;如何切分取决于具体的分词器。不能固定认为“一个汉字就是一个 Token”,也不能直接用字符串长度代替 Token 数。分词算法说明

文本 → Tokenizer → Token ID 序列 → 模型

例如 Laravel、一个中文姓名和一段随机标识符,可能有不同的切分效果。这里不列固定的切分结果,因为换一个模型,结果就可能变化。

工程上需要统计的是完整请求:指令、历史消息、检索资料、工具定义和工具结果,都可能增加输入量。准确计数应使用匹配模型的分词器或服务提供的计数能力,并结合响应中的用量记录。

生成:反复预测下一个 Token

常见自回归模型每一步根据当前上下文,计算后续 Token 的概率,再按解码策略选择一个 Token。它把新结果加入上下文,继续生成,直到遇到结束条件。文本生成说明

输入上下文
  ↓
预测下一个 Token
  ↓
加入已生成内容
  ↓
继续预测,直到结束

这解释了两个现象:输出通常逐步出现;回答的开头也可能影响后面的内容。如果生成过程沿着一个错误前提继续展开,就可能得到一段连贯但错误的答案。

“预测下一个 Token”描述的是生成机制,不能据此推断模型只能做简单补全。复杂能力需要通过实际任务评估。

Context Window:一次能处理的上下文范围

上下文窗口可以理解为一次请求可使用的工作空间。实际限制要看模型和服务接口:输入、输出可能共享总预算,也可能另有各自上限。

做预算时,可以先用这个简化关系:

指令 + 历史 + 资料 + 工具相关内容 + 输出预留 ≤ 可用预算

它是应用设计时的预算模型,不是所有 API 的统一计费公式。某些模型还需要为内部推理等内容预留空间。

因此,不能把允许的输入量全部塞满,再期待模型正常输出。超限后的行为也并不统一:有的接口报错,有的产品会先截断或压缩历史。

聊天产品看起来“记得之前的内容”,通常与应用保留的会话状态有关。历史可能由客户端重传,也可能由服务端管理。不要据此认为模型参数已经记住了这次对话。

Transformer 与 Attention:怎样利用上下文

Transformer 是一种神经网络架构,Attention 是其中用于结合不同位置的信息的重要机制。它让某个位置的表示能够利用上下文中其他位置的信息。Transformer 原始论文

例如:“小王把服务器日志交给小李,因为他需要排查故障。”理解“他”的指向需要结合上下文;Attention 是模型处理这种关联的一部分机制,但不保证模型一定判断正确。

原始 Transformer 论文使用编码器与解码器结构;许多生成式语言模型采用以解码器为主的变体。不能把某张经典架构图里的层数和结构当作所有 LLM 的固定配置。

Prefill 与 Decode:等待发生在哪里

在常见的自回归推理服务中,可以区分两个主要阶段:

阶段 主要工作 对体验的影响
Prefill 处理输入上下文,建立生成所需的中间状态 影响生成开始前的等待
Decode 利用已有状态逐步生成后续 Token 影响持续输出的速度

输入长,通常需要更多前期处理;输出长,通常需要更多生成步骤。实际表现还受硬件、排队、批处理、缓存和服务实现影响。推理服务中的预填充与解码

应用应分别观察首个 Token 的等待时间和整次请求完成时间。流式输出可以让用户更早看到内容,但不会自动减少模型要做的工作。

KV Cache:用内存换重复计算

在常见 Transformer 解码过程中,KV Cache 保存此前 Token 在注意力层产生的 Key 和 Value,供后续生成复用,减少重复计算。完整注意力下,缓存通常随序列增长;具体占用取决于模型结构、精度和实现。KV Cache 说明

它带来的工程启发是:长上下文除了增加计算,也会消耗推理服务的内存资源,进而影响并发能力。

KV Cache 与应用的“回答缓存”不同。前者复用中间计算,后者直接复用已有答案。托管服务的前缀缓存、缓存有效期和折扣规则还要单独看服务说明,不能假定重复输入天然免费。

为什么相同输入可能产生不同输出

选择后续 Token 时,可以取概率最高项,也可以进行采样。采样策略会影响输出的多样性。解码策略说明

应用中还可能存在模型更新、运行环境变化等因素。因此,即使降低随机性,也不要把一次结果当作永久不变的字符串。

对分类任务,应检查类别是否正确;对信息抽取,应检查字段是否忠于原文;对代码生成,应检查行为和测试结果。除非产品确实要求逐字一致,否则测试应围绕任务结果。

一次长文问答的排查顺序

用户上传手册后,发现回答又慢又不准,可以按下面顺序检查:

  1. 完整请求有多少输入,是否混入无关历史或重复文档?
  2. 慢在生成开始前,还是持续输出阶段?是否要求了过长回答?
  3. 正确资料是否真的进入上下文,模型有没有引用到对应段落?

这比直接更换更大的模型更容易定位原因。首先把输入与输出边界看清楚,再决定需要检索、压缩还是调整模型。

本文章首发在 LearnKu.com 网站上。

上一篇 下一篇
讨论数量: 0
发起讨论 只看当前版本


暂无话题~