工程决策:什么时候用什么
收到一个 AI 需求后,先不要从框架或 Agent 开始。先判断任务缺少什么:明确的指令、可靠的资料、系统能力,还是可稳定学习的行为模式。
本节给出一套选型方法。它是工程建议,最终方案需要通过自己的数据验证。
先判断普通代码是否足够
满足精确规则的字符串转换、金额计算、权限校验和状态流转,通常优先用普通代码。
例如,根据订单支付金额和已退款金额计算可退额度,不需要语言模型。如果输入是用户的一段自然语言,可以让模型识别诉求,再把结果交给确定性的业务逻辑。
把模型调用限制在确实需要理解或生成的环节,往往更容易控制质量与维护成本。
用问题定位方案
| 主要问题 | 优先考虑 | 应用必须承担的工作 |
|---|---|---|
| 任务没说清,回答方式不合要求 | Prompt 与示例 | 明确输入、输出和失败条件 |
| 程序需要稳定读取字段 | 结构化输出 | Schema、业务校验与失败处理 |
| 缺少私有或更新的文档知识 | 直接提供资料或 RAG | 数据更新、检索、访问权限和引用 |
| 需要查询实时业务状态或执行操作 | 工具调用 | 参数校验、授权、执行和审计 |
| 步骤明确,偶尔需要模型理解 | 固定 Workflow | 状态、分支、重试和人工处理 |
| 后续步骤需要根据现场结果决定 | 受限的 Agent | 工具边界、预算、停止条件与恢复 |
| 大量同类任务的行为持续不稳定 | 评估微调 | 高质量样本、独立评估和版本维护 |
这些方案可以组合。结构化输出可以配合 RAG,工具调用可以存在于固定流程中,Agent 也可以调用检索工具。
Prompt:先把任务定义清楚
一个好起点是写出任务、输入边界、输出要求和缺信息时的行为。例如:
任务:提取帖子中的安装排错信息。
输入:帖子正文。
要求:识别框架版本、运行环境、报错文本和复现步骤。
限制:原文未提供的信息留空,不根据常见配置猜测。
如果只是要求每次多一个字段或改变说明风格,先调整指令即可。如果结果会被程序消费,再使用所选服务支持的结构化输出能力,并增加业务校验。
RAG:解决“资料在哪里”
当回答依赖外部文档时,RAG 可以先检索,再把相关内容交给模型生成。它将外部资料与模型生成结合起来,而不是要求所有知识都保存在参数里。RAG 论文
资料很少、每次都确实需要时,直接提供全文可能就够了;资料较多、更新频繁或存在权限差异时,再设计检索。
RAG 也不等于必须建立向量数据库。课程标题、版本号、错误代码等信息,可能用已有全文搜索或关键词查询就能找到。先测检索效果,再决定是否需要向量、混合检索和重排序。
检索阶段就应限制用户可访问的资料,不能先把无权查看的内容发给模型,再依赖一句“不要泄露”补救。
工具调用:解决“现在是什么状态”与“怎样执行”
“我买过这门课吗?”依赖当前账户和订单,适合调用业务查询接口。应用应从可信会话取得用户身份,并在接口层检查权限,不能完全相信模型提供的用户 ID。
理解用户问题
↓
模型提出工具请求
↓
应用检查参数与权限
↓
执行业务查询
↓
模型依据结果回答
调用查询工具不意味着一定需要 Agent。如果路径固定,代码完全可以控制查询顺序和后续处理。
对于写操作,还要考虑重复执行、部分成功、失败恢复与用户授权。模型提出“退款”这个动作,与系统允许执行退款之间,必须有明确的业务边界。
Workflow 与 Agent:谁决定下一步
固定 Workflow 由代码定义执行路径;Agent 把更多路径选择交给模型。Agent 的灵活性通常伴随额外延迟、成本和调试工作,应在需要这种灵活性时使用。设计原则与区分
例如,“收集反馈 → 分类 → 保存 → 通知管理员”路径明确,适合固定流程。若任务是“检查这个项目为什么无法启动”,下一步可能取决于日志、目录结构和测试结果,才更有理由考虑 Agent。
即使选择 Agent,也应先限制到明确范围:允许哪些工具、最多执行多少步、怎样判断完成、何时交回人工。没有停止条件的循环,不是完整的方案。
微调:先证明存在可学习的缺口
考虑微调前,先问三个问题:
- 错误主要来自模型行为,还是来自缺资料、标签混乱或工具失败?
- 是否有质量可靠、能够表达期望行为的训练样本?
- 是否有独立样本,能比较微调与原方案?
如果知识每天都更新,优先处理资料获取;如果分类标准本身矛盾,先修标签;如果工具经常超时,先修工具。微调不能代替这些工作。
全参数微调和参数高效微调等方式有不同资源需求,但都需要评估和维护。微调方法原资料
为社区问答助手选择一个最小方案
假设目标是回答课程安装问题,可以分三种情况:
| 用户输入 | 初版处理 |
|---|---|
| 信息不全:“安装失败了” | 提取现有信息,追问版本与报错 |
| 提供了完整报错 | 检索对应版本文档,给出有引用的排查步骤 |
| 询问自己的购买状态 | 通过授权工具查询账户订单 |
这个初版可以由普通应用代码组织,不需要自主执行服务器操作,也不需要先训练新模型。
评估时,收集一小组真实问题,覆盖可回答、缺信息、文档没有答案和版本冲突等情况。分别检查有没有找对资料、有没有编造结论、有没有正确追问,再记录每次任务的总耗时与用量。
只有测试暴露了明确缺口,才增加下一项能力。例如资料找不到,就改善检索;字段不稳定,就改善约束和校验;后续步骤无法预定义,再评估 Agent。
本章练习
为一个真实需求写下以下四项:输入是什么,事实从哪里来,谁决定和执行动作,怎样验证结果。然后选出足够完成它的最少组件。
这份记录会成为下一章调用模型 API 时的需求说明。
一站式AI产品经理入门指南
关于 LearnKu