什么是 LLM Token 计数与上下文规划器?
此工具在浏览器本地使用 js-tiktoken,按所选 OpenAI 编码统计文本。它支持 o200k_base 和 cl100k_base,提供可同时设置编码与上下文窗口的模型预设,并分别计算系统提示、用户提示和预留输出。你还可以按行或按段查看 Token 分布,快速定位占用较大的内容。Claude、Gemini 等模型使用不同的分词器和消息计费规则,因此本工具不会把它们的估算值标成精确结果。
如何统计 Token 并规划上下文
- 1选择 OpenAI 模型预设,或直接选择 o200k_base、cl100k_base 编码,然后确认上下文窗口上限。
- 2把系统指令以及用户提示、检索内容分别粘贴到对应输入框。
- 3设置输出 Token 预留量,检查剩余上下文和按行或按段的分布;若超限,请精简输入。
- 4如需估算费用,可填写当前每百万输入、输出 Token 的价格。
Token 规划的常见场景
规划检索增强提示词
在调用 OpenAI 模型前,统计指令、问题和检索段落的总量,同时为回答保留足够空间。
定位过长的提示词片段
按段或按行比较 Token 分布,找出可以压缩的示例、日志和参考资料。
估算 API 请求费用
使用你自己的合同价格或最新价格页数据计算,避免依赖可能过时的内置费率。
常见问题
这里的 Token 数是否精确?
对于所选 o200k_base 或 cl100k_base 编码以及输入的原始文本,计数是精确的。实际 API 还可能为角色、工具调用、图片或消息结构增加 Token,因此应保留安全余量。
能否精确统计 Claude 或 Gemini?
不能。本工具不会显示所谓的精确 Claude 或 Gemini 数量,因为选择相近的 OpenAI 编码也无法复现这些模型的分词器。
提示词会上传吗?
不会。分词、上下文预算、明细和费用计算都在浏览器本地完成,输入内容不会由此工具上传。