如何正确计算 openai stream 流式的 tokens

CrazyZard 的个人博客 / 1 / 0 / 创建于 1年前 / 更新于 1年前

背景

openai 在 stream 流下是无法返回 usage 这个参数的，即在流式下你无法正常统计这个请求消耗的tokens

过程

github.com/openai/openai-cookbook/...

去官方查看对应语言的 token 计算方式

我这边选择了 github.com/pkoukk/tiktoken-go
在首页有对应的 demo ，这个 demo 可以用于计算 prompt_tokens
但是对于 stream 里面的返回体并没有 demo
经过比对，发现只要计算 message.Content 的字符相加就可以得到生成的 completion_tokens

验证

使用官方的 messages demo ，非stream 请求可以得出 usage

在 finish_reason == length 的情况下，我们请求 stream 流
可以看出我们的 completion_tokens 流式跟非流式得出的 usage 参数一致

注意点

就是encoding 的成本还是比较高的，所以记得要做复用

本作品采用《CC 协议》，转载必须注明作者和本文链接

快乐就是解决一个又一个的问题！

版主 1.3k 声望

程序猿 @ 西湖心辰

暂无个人描述~

讨论数量: 0

(=￣ω￣=)··· 暂无内容！

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

程序猿 @ 西湖心辰

私信

文章归档

1 篇 2023 年 8 月 1 篇 2023 年 3 月 1 篇 2022 年 11 月 1 篇 2021 年 12 月 1 篇 2021 年 8 月 1 篇 2021 年 7 月 1 篇 2021 年 2 月 1 篇 2021 年 1 月 1 篇 2020 年 10 月 1 篇 2020 年 9 月 1 篇 2020 年 8 月 7 篇 2020 年 7 月 7 篇 2020 年 6 月 1 篇 2020 年 5 月 6 篇 2020 年 4 月 11 篇 2020 年 3 月 13 篇 2020 年 2 月 8 篇 2020 年 1 月 16 篇 2019 年 12 月 13 篇 2019 年 11 月 22 篇 2019 年 10 月 2 篇 2019 年 9 月 1 篇 2018 年 12 月

1年前如何正确计算 openai stream 流式的 tokens 1年前 mysql 同步 es 详细步骤讲解 2年前在 mapping 上新建索引字段，更新全部文档，随后发现这个好用的功能 3年前 0 == "无". 结果是 true 3年前 golang 的 http 请求池

66 连 TCP 这几个参数都不懂，回去等通知吧！（一） 58 世界上最好的学习法：费曼学习法 56 七大缓存经典问题 31 吃透了这些 Redis 知识点，面试官一定觉得你很 NB 18 基于 swoole 的laravel 聊天平台

博客标签

成为赞助商