LLM上下文窗口可视化计算器

输入文本或对话内容,估算 Token 数量,并对比 GPT-4、GPT-4o、Claude 3.5 Sonnet、Gemini 1.5 Pro 等主流大模型的上下文窗口占用比例。

免费在线工具
Loading…

使用说明

在输入框粘贴一段文本或完整的对话记录,点击“计算占用”,工具会先统计总字符数、中日韩字符数、其他字符数,并按粗略规则估算 Token 数量(中日韩文字约 1.7 字符/token,英文数字标点等其他字符约 4 字符/token)。

估算出的 Token 数会分别与几个有代表性的模型上下文窗口大小做对比(GPT-4 32K、GPT-4o/GPT-4o mini 128K、Claude 3.5 Sonnet/Opus 4 200K、Gemini 1.5 Pro/Flash 1M、Llama 3.1 128K),每个模型显示一条占用比例进度条:绿色表示占用较低,黄色表示占用超过70%接近上限,红色表示已超出该模型的窗口容量,并会标注剩余可用 token 数或超出提示。点击“加载示例数据”可以看一段中英文混合示例文本的计算效果。

功能介绍

大语言模型的“上下文窗口”决定了一次对话或一次调用最多能处理多少 token 的输入+输出内容,不同模型的窗口大小差异很大(从32K到1M token不等)。开发者在设计 Prompt、拼接长文档或多轮对话历史时,常常需要粗略判断当前内容是否会超出目标模型的窗口限制。

本工具用简化规则估算 token 数量(区分中日韩文字和其他字符分别按不同的字符/token 比例换算,不依赖真实的模型专属 tokenizer,因此结果是近似值而非精确计数),并把估算结果同时对比多个主流模型的公开窗口大小,用进度条直观展示占用比例,帮助快速判断内容对于目标模型是否安全、大概还能再加多少内容。

所有计算均在浏览器本地完成,不上传文本内容,不调用任何模型API。

使用场景

评估长文档/长对话是否适合某个模型
把要处理的长文档或历史对话记录粘贴进来,快速判断是否会超出目标模型的上下文窗口,决定要不要做分段或摘要处理。
选择合适的模型处理特定长度的内容
同一段内容对比多个模型的占用比例,直观看出哪些模型窗口足够、哪些会超限,辅助模型选型决策。
理解不同语言内容的token消耗差异
通过中日韩字符数与其他字符数的分别统计,直观感受中文内容和英文内容在token消耗上的差异,辅助撰写更省token的Prompt。
RAG/长上下文应用的容量规划
在设计检索增强生成(RAG)系统或长上下文应用时,粗略估算候选文本块拼接后的token总量,判断是否需要精简或分批调用。

常见问题

这个 token 估算准确吗,可以用来精确控制成本吗?
不可以完全依赖。本工具使用的是简化的字符数换算规则(中日韩约1.7字符/token,其他字符约4字符/token),不是各家模型真实使用的 tokenizer(如 OpenAI 的 tiktoken),实际 token 数会有一定偏差。适合快速判断量级和是否接近窗口上限,精确计费场景建议使用模型官方提供的 tokenizer 库计算。
为什么中文和英文的换算比例不一样?
因为主流 tokenizer 对中日韩这类表意文字和英文这类拼音文字的切分粒度不同,中日韩文字通常每个字单独或以较小颗粒切分成 token,平均下来每 token 对应的字符数更少;英文单词常被切成更长的 token 片段,平均每 token 对应更多字符,所以本工具对两类字符使用不同的估算系数。
工具里列出的模型窗口大小是最新的吗?
工具展示的窗口大小(如 GPT-4o 128K、Claude 200K、Gemini 1.5 Pro 1M 等)是撰写时查证的公开文档数值,仅供直观参考。各厂商可能随版本更新调整窗口大小或推出新模型,请以对应模型官方最新文档为准。
进度条变红是什么意思?
红色表示按当前估算的 token 数,内容长度已经超出该模型的上下文窗口容量(占用比例达到或超过100%),意味着如果不做截断或分段处理,直接把这段内容发给该模型很可能会报错或被自动截断。