工程决策:什么时候用什么

收到一个 AI 需求后,先不要从框架或 Agent 开始。先判断任务缺少什么:明确的指令、可靠的资料、系统能力,还是可稳定学习的行为模式。

本节给出一套选型方法。它是工程建议,最终方案需要通过自己的数据验证。

先判断普通代码是否足够

满足精确规则的字符串转换、金额计算、权限校验和状态流转,通常优先用普通代码。

例如,根据订单支付金额和已退款金额计算可退额度,不需要语言模型。如果输入是用户的一段自然语言,可以让模型识别诉求,再把结果交给确定性的业务逻辑。

把模型调用限制在确实需要理解或生成的环节,往往更容易控制质量与维护成本。

用问题定位方案

主要问题 优先考虑 应用必须承担的工作
任务没说清,回答方式不合要求 Prompt 与示例 明确输入、输出和失败条件
程序需要稳定读取字段 结构化输出 Schema、业务校验与失败处理
缺少私有或更新的文档知识 直接提供资料或 RAG 数据更新、检索、访问权限和引用
需要查询实时业务状态或执行操作 工具调用 参数校验、授权、执行和审计
步骤明确,偶尔需要模型理解 固定 Workflow 状态、分支、重试和人工处理
后续步骤需要根据现场结果决定 受限的 Agent 工具边界、预算、停止条件与恢复
大量同类任务的行为持续不稳定 评估微调 高质量样本、独立评估和版本维护

这些方案可以组合。结构化输出可以配合 RAG,工具调用可以存在于固定流程中,Agent 也可以调用检索工具。

Prompt:先把任务定义清楚

一个好起点是写出任务、输入边界、输出要求和缺信息时的行为。例如:

任务:提取帖子中的安装排错信息。
输入:帖子正文。
要求:识别框架版本、运行环境、报错文本和复现步骤。
限制:原文未提供的信息留空,不根据常见配置猜测。

如果只是要求每次多一个字段或改变说明风格,先调整指令即可。如果结果会被程序消费,再使用所选服务支持的结构化输出能力,并增加业务校验。

RAG:解决“资料在哪里”

当回答依赖外部文档时,RAG 可以先检索,再把相关内容交给模型生成。它将外部资料与模型生成结合起来,而不是要求所有知识都保存在参数里。RAG 论文

资料很少、每次都确实需要时,直接提供全文可能就够了;资料较多、更新频繁或存在权限差异时,再设计检索。

RAG 也不等于必须建立向量数据库。课程标题、版本号、错误代码等信息,可能用已有全文搜索或关键词查询就能找到。先测检索效果,再决定是否需要向量、混合检索和重排序。

检索阶段就应限制用户可访问的资料,不能先把无权查看的内容发给模型,再依赖一句“不要泄露”补救。

工具调用:解决“现在是什么状态”与“怎样执行”

“我买过这门课吗?”依赖当前账户和订单,适合调用业务查询接口。应用应从可信会话取得用户身份,并在接口层检查权限,不能完全相信模型提供的用户 ID。

理解用户问题
  ↓
模型提出工具请求
  ↓
应用检查参数与权限
  ↓
执行业务查询
  ↓
模型依据结果回答

调用查询工具不意味着一定需要 Agent。如果路径固定,代码完全可以控制查询顺序和后续处理。

对于写操作,还要考虑重复执行、部分成功、失败恢复与用户授权。模型提出“退款”这个动作,与系统允许执行退款之间,必须有明确的业务边界。

Workflow 与 Agent:谁决定下一步

固定 Workflow 由代码定义执行路径;Agent 把更多路径选择交给模型。Agent 的灵活性通常伴随额外延迟、成本和调试工作,应在需要这种灵活性时使用。设计原则与区分

例如,“收集反馈 → 分类 → 保存 → 通知管理员”路径明确,适合固定流程。若任务是“检查这个项目为什么无法启动”,下一步可能取决于日志、目录结构和测试结果,才更有理由考虑 Agent。

即使选择 Agent,也应先限制到明确范围:允许哪些工具、最多执行多少步、怎样判断完成、何时交回人工。没有停止条件的循环,不是完整的方案。

微调:先证明存在可学习的缺口

考虑微调前,先问三个问题:

  1. 错误主要来自模型行为,还是来自缺资料、标签混乱或工具失败?
  2. 是否有质量可靠、能够表达期望行为的训练样本?
  3. 是否有独立样本,能比较微调与原方案?

如果知识每天都更新,优先处理资料获取;如果分类标准本身矛盾,先修标签;如果工具经常超时,先修工具。微调不能代替这些工作。

全参数微调和参数高效微调等方式有不同资源需求,但都需要评估和维护。微调方法原资料

为社区问答助手选择一个最小方案

假设目标是回答课程安装问题,可以分三种情况:

用户输入 初版处理
信息不全:“安装失败了” 提取现有信息,追问版本与报错
提供了完整报错 检索对应版本文档,给出有引用的排查步骤
询问自己的购买状态 通过授权工具查询账户订单

这个初版可以由普通应用代码组织,不需要自主执行服务器操作,也不需要先训练新模型。

评估时,收集一小组真实问题,覆盖可回答、缺信息、文档没有答案和版本冲突等情况。分别检查有没有找对资料、有没有编造结论、有没有正确追问,再记录每次任务的总耗时与用量。

只有测试暴露了明确缺口,才增加下一项能力。例如资料找不到,就改善检索;字段不稳定,就改善约束和校验;后续步骤无法预定义,再评估 Agent。

本章练习

为一个真实需求写下以下四项:输入是什么,事实从哪里来,谁决定和执行动作,怎样验证结果。然后选出足够完成它的最少组件。

这份记录会成为下一章调用模型 API 时的需求说明。

本文章首发在 LearnKu.com 网站上。

上一篇 下一篇
讨论数量: 0
发起讨论 只看当前版本


暂无话题~