模型是怎么得到的
调用模型 API 时,我们使用的是已经训练好的模型。但理解它从哪里来,可以帮助判断:为什么它会写代码,却不知道刚刚修改的订单状态?为什么一句指令能改变回答风格,却不能让它永久学会公司的最新规则?
关键是区分训练和推理,以及模型参数与当前上下文。
训练改变参数,推理使用参数
训练通过数据和优化过程调整模型参数;推理使用训练得到的参数处理新输入。训练与推理原资料
对普通应用请求来说,把内部文档发给模型,是在提供本次可用的上下文,不等于立即训练模型。是否有服务方留存数据、用于后续训练,是另一项服务政策问题,需要按所用产品核实。
你可以把两类变化分开看:
| 改动 | 改变什么 |
|---|---|
| 修改 Prompt、增加示例、加入检索资料 | 本次或后续请求提供的上下文 |
| 微调模型 | 模型或适配器中的可训练参数 |
| 更新数据库 | 应用查询到的业务事实 |
三者可以协作,但不能相互替代。
预训练:建立基础能力
预训练通常使用大量数据,让模型学习可迁移的模式。对常见自回归语言模型,一项核心任务是根据前文预测后续 Token:训练目标可以从文本本身构造,因此不需要人工为每一句话编写问答标签。语言模型训练目标说明
通过这个过程,模型形成语言、代码及多种知识模式。但训练数据不一定完整、正确或最新,参数中也没有一份可像业务表那样精确维护的记录清单。
因此,模型可能熟悉“订单退款”的一般概念,却不知道你的网站是否已给某位用户完成退款。后一个问题需要查询业务系统。
后训练:让基础模型更适合任务
基础模型具有生成能力,并不意味着它天然适合按要求完成任务。后训练是预训练之后继续改善行为与能力的统称,可能涉及监督微调、偏好优化、强化学习等方法。具体模型的流程可能不同。后训练原资料
指令微调
指令微调使用任务指令与期望回答等样本,训练模型更好地遵循要求。例如提供“把这段内容总结为三点”及对应的示范答案。监督微调通常简称 SFT。
RLHF
RLHF 是基于人类反馈的强化学习。一种经典路线是先进行监督微调,再收集人类对回答的偏好,通过奖励模型和强化学习进一步调整行为。InstructGPT 论文展示了这条路线,也明确说明训练后的模型仍会出错。InstructGPT 论文
RLAIF
RLAIF 利用 AI 反馈作为训练信号的一部分。Constitutional AI 的研究展示了利用原则和 AI 反馈训练助手的方法。AI 反馈的质量仍取决于评价方式与模型能力。Constitutional AI 论文
对应用开发者,先理解这些方法试图改善什么即可,不需要在这里掌握优化算法。更会遵循指令、回答更符合偏好,并不意味着所有事实都正确。
微调与后训练是什么关系
微调指在已有模型上继续训练。它可以是后训练过程中的方法,也可以用于面向某个业务的适配。
一个更合适的示意图是:
预训练 → 基础模型 → 后训练 → 可供应用使用的模型
↑
可能包含监督微调等方法
可供应用使用的模型 → 按需进行业务微调 → 评估与部署
第二行是可选路径。并非每个应用都需要它,也并非所有模型服务都提供相同的微调能力。
还有一个容易混淆的名词:日常编写 Prompt,与 Prompt Tuning 不同。后者通常指训练可学习的提示向量,仍然属于训练方法,不是简单改一段自然语言。参数高效适配原资料
什么时候值得考虑业务微调
假设你要给社区帖子分类,现有模型在某几个专业类别上持续混淆。此时先检查标签定义是否清晰、输入是否完整、Prompt 和示例是否有效。
当这些问题已经处理,仍存在稳定的错误模式,并且拥有足够好的标注样本,就可以把微调作为候选方案。
最小评估过程应包含:保留一组不参与训练的样本,记录现有方案的表现,再比较微调后的质量、速度和总成本。不要只用训练样本证明模型“学会了”。
如果问题是回答不知道昨天更新的规则,通常应先考虑提供最新资料或检索。微调可以影响知识与行为,但不适合充当频繁更新、要求精确追溯的事实存储。
两种“推理”要区分
中文里的“推理”常指两件事:
- Inference:运行模型处理输入并生成结果。
- Reasoning:模型解决需要逻辑、规划或多步骤分析的任务。
每次普通模型调用都涉及 Inference;并非每次都需要复杂 Reasoning。某些系统会在生成阶段投入更多计算来改善困难任务,但这与训练时更新参数不同。
同样,“回答里写了很多步骤”不构成正确性的证明。工程上应检查最终结果、证据和可执行验证。
本节练习
为下面三个需求分别选择上下文、业务查询或训练,并写出理由:昨天修改的退款规则;某位用户当前的订单状态;大量帖子在固定专业分类上的稳定识别。可能需要组合方案,但要先找出每个需求真正缺少的能力或数据。
一站式AI产品经理入门指南
关于 LearnKu