模型能力与限制
一个模型能写出通顺的解释,也可能编造一个不存在的方法名。它能正确总结十篇文章,也可能在第十一篇遗漏一个关键条件。
应用工程师需要把这类不稳定性转化为可检查的边界:哪些结果能直接展示,哪些需要证据,哪些必须由确定性的代码决定。
先判断任务是否可验收
LLM 经常用于摘要、分类、信息抽取、代码辅助和自然语言交互。是否适合某个具体业务,需要用自己的样本验证。
例如,“分析论坛帖子”太宽泛;“识别帖子提到的框架版本、报错信息和复现步骤,缺失项返回空值”就更容易检查。
任务越明确,越容易找到错误并决定如何处理。流畅度可以是一项体验指标,但不能代替准确率和业务正确性。
幻觉:内容合理,却缺少事实依据
在知识问答里,幻觉通常表现为与事实不符或缺少支持的内容,例如不存在的引用、错误的 API 参数和未经确认的业务状态。成因涉及训练数据、模型与生成过程等多方面。幻觉原资料
不要把模型写出的“我已经查过”当作查询记录。系统没有执行工具,就没有发生查询;没有返回成功结果,就不能宣布操作成功。
降低幻觉风险,可以从应用入手:给出可靠资料,要求指出出处,允许返回“不确定”,并对关键字段执行校验。RAG 增加了可用证据,但检索错误、资料过期或生成误读仍会发生。RAG 的知识访问动机
知识截止不等于完整知识
模型有训练数据的时间范围与覆盖边界。即使某件事发生在已公布的知识截止日期以前,也不代表模型一定学过、记对或能够准确回答。
面对技术版本、价格和政策,应用应从可靠来源获取当前资料,再让模型解释。不要用模型生成的一个日期,反过来证明它掌握了最新事实。
对内部数据更要如此:用户账户状态、课程购买记录、订单金额,应以授权查询的系统结果为准。
上下文长,不等于资料都会被正确利用
输入能放进去,只说明满足了长度条件。相关信息的位置、干扰内容和任务难度,都可能影响模型利用资料的效果。早期长上下文研究已经展示过位置变化引起的性能波动;这不构成对每个新模型的统一结论,但说明需要做自己的检索与长文测试。Lost in the Middle
对课程问答,优先提供与问题对应的版本和段落。把不同版本、不同框架的资料全部混在一起,可能让模型生成一个表面完整、实际不兼容的方案。
推理能力仍然需要验证
把困难问题拆成步骤,可能有助于模型完成任务,但步骤多并不等于结果正确。
在代码场景中,可以用测试、类型检查和实际运行验证行为;在数据场景中,可以用查询和确定性计算验证数值。模型负责提出解释或候选方案,系统负责执行可以客观检查的部分。
例如,模型可以从用户的话里识别“想申请退款”,但退款金额应由订单、退款规则和已退款记录计算。让模型自由生成一个金额,会把本来明确的业务规则变成不可控输出。
格式正确与业务正确是两层检查
看下面这个示意结果:
{
"category": "installation",
"framework_version": "unknown",
"needs_more_info": true
}
Schema 可以约束字段类型和允许值,但不能自动证明分类符合帖子内容。应用仍需检查必需信息、字段关系和业务约束。遇到拒答、截断或接口失败,还需要单独处理。
也不要把模型自报的“置信度 95%”直接当作经过校准的概率。除非评估过这个数字与正确率之间的关系,否则它仍然只是一项生成内容。
不确定性会进入测试与运维
采样会影响生成结果;选择不同解码策略也会改变输出特征。生成策略说明
建议保留一组固定的真实样本,覆盖正常输入、缺信息、相互矛盾的材料和异常输入。每次改 Prompt 或模型后,比较任务结果,而不只是看一两个漂亮案例。
线上日志则应能回答:用了什么模型和 Prompt 版本,传入了哪些资料标识,工具返回了什么,最终在哪里失败。记录时按需要脱敏,避免为调试复制无关的用户数据。
延迟与成本也是能力边界
质量可接受,但用户需要等太久,功能仍可能不适用。每次多查一轮资料、多调用一次模型、多执行一个 Agent 步骤,都可能增加时间和费用。
不要只比较单次模型调用的单价。应统计一次业务任务从开始到完成的总耗时、总用量和重试情况。
一个实用的评估表可以包含四项:任务正确率、错误的后果、用户等待时间、完成一个任务的总成本。阈值由业务要求决定,本章不预设统一数字。
为社区助手划一条边界
初版可以生成排查建议、指出缺失信息,并给出课程文档出处。购买状态通过授权接口查询;权限和金额由业务代码决定;退款等操作按产品明确的授权流程执行。
这条边界让模型发挥语言理解与解释能力,也让应用保持可检查、可回退。
本节练习
给自己的 AI 功能找三个失败案例:编造事实、缺少上下文、格式正确但业务错误。分别写出系统如何发现错误,以及发现后返回什么。能明确这两件事,才有了可维护的失败处理。
一站式AI产品经理入门指南
关于 LearnKu