成本控制
控制 AI 成本,先知道一项业务任务到底调用了几次、用了多少输入和输出、最后有没有得到合格结果。只看每百万 Token 的单价,会漏掉重试、长历史、工具和人工返工。
这一节延续帖子摘要示例,先建立可核对的账,再做最少的优化。
输入、缓存输入和输出
文本 API 常按输入和输出用量计费,适用的模型与服务可能另有缓存、工具、存储和服务档位费用。具体单价、上下文档位和缓存写入规则,以当前价格页为准。OpenAI 价格说明
对一种简化的文本计费情形,设输入总量为 I,其中命中缓存的部分为 C,输出为 O,三类每百万 Token 单价分别为 Pi、Pc、Po:
估算费用 = (I - C) × Pi / 1,000,000
+ C × Pc / 1,000,000
+ O × Po / 1,000,000
这里假设缓存输入是输入总量的子集,不能在全量输入费用之外再重复加一次缓存输入费用。若有缓存写入、长上下文档位、工具或其他费用,必须另外按实际规则计算。
用假设数字理解计算
下面完全是教学假设,不是某个真实模型的报价:输入单价每百万 2 美元、缓存输入 0.2 美元、输出 8 美元。一次请求输入 10000 Token,其中 6000 命中缓存,输出 1000 Token。
未缓存输入:4000 × 2 / 1,000,000 = 0.008 美元
缓存输入: 6000 × 0.2 / 1,000,000 = 0.0012 美元
输出: 1000 × 8 / 1,000,000 = 0.008 美元
合计:0.0172 美元
这个结果只解释公式,不包含额外费用、税费或汇率。真正记账时保存价格版本和计算时间,并与服务账单核对。
推理 Token 不能按屏幕字数估算
某些模型生成的输出用量包括不可见 Token,因此不能数一数页面里的文字就推算账单。输入还可能包含角色、格式、工具与 Schema 等开销。官方 Token 计数说明
用请求前的计数能力检查预算,用请求后的 usage 记录实际用量。前文示例设置的字符限制只是输入防线,不是准确的费用预测。
先记录每个业务任务
建议每条记录至少包含任务类型、模型、Prompt 版本、输入与输出用量、缓存用量、尝试次数、耗时和最终是否合格。数据缺失时保留空值,并标记原因。
一个帖子摘要任务
第一次调用:超时,用量未知
第二次调用:完成,usage 已记录
最终验收:合格
这里不能只把第二次费用当作任务的全部费用。超时调用可能需要通过提供商记录或账单补齐。
对比模型或 Prompt 时,使用“得到一个合格摘要的平均成本”,同时观察成功率与延迟。省下 Token 却显著增加人工返工,不是理想优化。
第一优先:少传无关内容
摘要任务只需要当前帖子和必要说明,就不要附带整个聊天历史、页面 HTML、无关评论和多次重复的错误日志。
删减输入时保留关键条件,例如框架版本、报错和用户已经尝试的步骤。先用已有样本验证结果没有变差,再扩大使用。
输出也应按产品需要设计。列表页只需要短摘要,就不要默认要求完整教程。设置输出上限可以约束预算,但不能代替质量验收,也要为推理模型留出适当空间。
第二优先:避免重复生成
对于相同帖子内容、相同模型和 Prompt 版本,可以按产品需要缓存已生成摘要。缓存键至少包含租户或权限范围、内容版本、模型和 Prompt 版本;必要时还要包含语言等生成选项。
不同用户的私有数据不能因为文本相似就共享结果。帖子修改后,要失效旧摘要,或用内容摘要值区分版本。
这类应用结果缓存,与服务方 Prompt Cache 不同。后者复用模型输入的计算,是否命中取决于模型、前缀、缓存边界和配置,不能假设只要开头相同就一定折扣。Prompt caching 说明
第三优先:让模型与任务匹配
简单摘要先使用经过验收的经济方案;困难任务再考虑更高能力或更多推理预算。自动升级模型也会增加调用次数,要把第一次失败的成本算进去。
应用侧可设置用户额度、任务并发、输出预算和明确的停止条件。速率限制控制短时间流量,不等于月度硬性预算;平台预算提醒是否强制阻断,也要核实实际机制。
对非实时任务,可以另外评估服务提供的批处理方式及其交付时效;不要把实时请求擅自转成用户无法接受的长等待。
本节练习
给摘要应用加一张最小用量表,先记录真实任务,再尝试只做一次输入去重或结果缓存。比较变更前后的合格率、总调用次数和任务成本。先有可核对的数据,再继续优化。
一站式AI产品经理入门指南
关于 LearnKu