LLM Token 计数器

本地估算一段文本在GPT/Claude等大模型中占用的Token数量,支持按主流上下文窗口查看占比,纯本地计算不联网。

免费在线工具
Loading…

使用说明

  1. 在输入框中粘贴或输入需要估算的文本(支持中英文混排)。
  2. 页面会实时显示总字符数、CJK(中日韩)字符数、其他字符数与估算Token数。
  3. 下方「上下文窗口占比」区域会按 16K / 32K / 128K / 200K 等常见上下文窗口大小,展示当前文本占用比例的进度条,帮助判断文本是否会超出目标模型的上下文限制。
  4. 点击「加载示例文本」可快速查看一段中英混合示例的估算效果。

功能介绍

  • 纯本地JavaScript计算,不调用任何外部API或CDN,输入内容不会上传。
  • 采用行业常见的近似估算规则:CJK字符约1.7字符/token,英文/数字/标点等其他字符约4字符/token,页面上会明确标注这是近似值而非精确 tokenizer 结果。
  • 实时统计总字符数、CJK字符数、其他字符数、估算Token数。
  • 内置4档常见大模型上下文窗口(16K/32K/128K/200K)占比进度条,超出窗口时进度条会变红提示。
  • 提供一键加载示例文本功能,方便快速体验。

使用场景

预估Prompt长度
在向GPT-4o、Claude等模型发送长Prompt前,先估算token数量,避免超出模型上下文窗口限制。
控制API调用成本
结合按token计费的模型API,提前估算输入文本的token消耗,辅助预算规划。
评估RAG检索片段长度
在构建检索增强生成(RAG)系统时,估算检索到的文档片段是否会占用过多上下文空间。
中英文混排内容评估
针对中英文混合的文档、客服话术、说明书等内容,快速了解token占用情况,中文与英文分别采用不同的估算比例。

常见问题

这个token数量是精确值吗?
不是。本工具使用近似估算算法(CJK字符约1.7字符/token,其他字符约4字符/token),不是GPT/Claude官方BPE分词器的精确计算结果,实际token数请以对应模型官方tokenizer为准。
支持哪些语言的文本?
支持任意语言文本,工具会自动区分中日韩(CJK)字符与其他字符(英文、数字、标点、空白等),分别采用不同的估算比例,中英文混排也能得到较合理的估算。
我的文本内容会被上传到服务器吗?
不会。所有计算都在浏览器本地完成,不会调用任何外部API或上传文本内容。
上下文窗口占比是如何计算的?
用估算出的token数除以所选模型的上下文窗口大小(如128K、200K)得到百分比,超过100%会被限制显示为100%并高亮提示已超出。