如何选择模型

接入模型之前,先写清楚它要完成的任务。给论坛帖子分类、生成课程摘要、分析截图报错和修改项目代码,需要的能力不同。用一个排行榜分数替所有任务做决定,容易得到成本高、效果却不稳定的方案。

本章以“把社区帖子概括为三个要点”为贯穿示例。它的范围足够小,便于验证第一次 API 调用,也能逐步加入流式响应、错误处理和成本记录。

先定义什么叫做好

对帖子摘要,可以先定几条验收条件:保留主要问题与已有尝试;不虚构原因或解决结果;缺少环境信息时不擅自补全;文字长度适合在页面上展示。

这些是本教程的示例标准,不是 LearnKu 已有的线上评估结果。真正选型时,要换成自己的业务标准。

再准备一组真实或脱敏的样本,覆盖普通帖子、内容很长、信息很少、代码较多和原文自相矛盾等情况。只测试一句“你好”,只能证明接口能通信。

第一轮筛掉不满足硬条件的模型

条件 要检查什么 常见误区
可访问性 账户权限、服务地区和实际可用额度 文档列出的模型都能直接调用
输入能力 文本、图片、音频的具体格式与限制 “多模态”代表支持所有模态
输出能力 文本、结构化输出与工具调用支持 所有模型接口完全相同
长度限制 输入、输出及总上下文约束 窗口足够长就一定能有效处理资料
数据要求 数据处理、保留、部署与合同要求 可下载权重就没有许可和维护问题
时间要求 可接受的等待时间、超时和并发 文档中的吞吐量就是业务延迟

这些条件需要查看所选服务与模型的当前说明。本文不固定推荐一个“永远合适”的型号;后续示例通过 OPENAI_MODEL 配置实际可用的模型。

第二轮比较质量、时间和任务成本

对同一批样本,保持指令、输入和验收方式尽量一致,再比较两三个候选模型。OpenAI 的选型指南也将准确性、延迟与成本作为需要共同权衡的维度。官方模型选型指南

可以用下面的空表记录,不必先搭建评测平台:

候选模型及版本 摘要是否忠于原文 失败样本 完成时间 每个合格摘要的成本
候选 A 待实测 待记录 待实测 待实测
候选 B 待实测 待记录 待实测 待实测

“每个合格摘要的成本”应包含失败和重试。某模型单次调用便宜,但经常需要人工重写,总成本未必更低。

对流式回答,另记首段内容出现的时间。它与整个任务完成时间不同,后面会专门处理。

通用、推理、代码与多模态怎样选

这些是观察能力的维度,不是互斥的箱子。同一个模型可能同时处理代码、图片和复杂推理。

对简单摘要,先测试能稳定满足标准的低成本方案;对涉及多步条件判断的任务,增加困难样本,再判断是否值得投入更多推理计算。对代码任务,检查修改后的行为、测试和接口是否存在,而不只检查解释是否流畅。

如果输入是报错截图,要测试实际截图,包括小字、遮挡和多个窗口;文本问答的表现不能直接替代图像任务测试。

API 兼容需要逐项确认

两个服务都声称兼容某种 API,不代表模型名称、请求参数、错误响应、流式事件和用量字段完全一致。

更换服务时,至少检查请求字段、返回文本的位置、终止状态、超时、流式解析和计费口径。不要只修改 base_url 后就宣布迁移完成。

本章把 OpenAI Responses API 作为具体示例;Laravel 通过 HTTP 调用,不要求安装某个社区封装。选用其他服务时,应以该服务的官方接口为准。

把选择结果变成可维护配置

建议记录模型标识、评估日期、适用任务和未通过的样本。模型支持固定快照时,可以按需要使用;使用会变化的别名时,要接受后续行为可能变化,并保留回归样本。

任务:社区帖子摘要
候选:账户中可用且支持 Responses 文本调用的模型
通过条件:忠于原文,信息缺失时不猜测
运行参数:与评估记录一起保存
变更前:重新检查原有失败样本

第一次选型不必追求覆盖所有模型。先选择一个通过测试的方案,让应用能够替换配置并记录用量,后续再根据实际问题调整。

本节练习

为你的第一个 AI 功能写出三个质量条件、一个等待时间要求,以及一种无法接受的错误。用这些条件筛选候选模型,比直接问“哪个最强”更容易得到可执行结论。

本文章首发在 LearnKu.com 网站上。

上一篇 下一篇
讨论数量: 0
发起讨论 只看当前版本


暂无话题~