KV Cache 显存估算器
选择预设大模型或自定义模型参数，配合精度、批大小、序列长度，估算推理时KV Cache、模型权重和激活值的显存占用总量，并给出常见GPU是否够用的对照。
免费在线工具
Loading…
使用说明
- 从“预设模型”下拉框选择常见大语言模型（如Llama 3 8B等），或选择“自定义模型...”手动填写层数、隐藏维度、中间层维度、词表大小、KV Head数（GQA分组查询注意力）和Attention Head数。
- 选择推理“精度”（FP16/FP8/FP32/INT8/INT4），精度越低显存占用通常越小。
- 填写“Batch Size”（批处理大小）和“序列长度(tokens)”，这两个参数直接影响KV Cache的显存占用规模。
- 页面顶部三张卡片实时显示“KV Cache显存”“模型权重显存”“激活值显存”，下方“总计显存需求”卡片汇总三者之和。
- “GPU兼容性”表格自动对比H200/H100/A100 80GB/L40S/A100 40GB/RTX 4090/RTX 3090等常见GPU显存是否能容纳当前总需求；“精度对比”表格同时列出同一配置下切换FP16/FP8/FP32/INT8/INT4五种精度分别需要多少显存，方便权衡精度与显存的取舍。点击“加载示例数据”可快速加载Llama 3 8B + FP16 + batch=1 + 序列长度4096的示例。
功能介绍
- 内置常见大语言模型的预设参数供快速选择，也支持完全自定义模型结构参数（层数、隐藏维度、中间层维度、词表大小、GQA的KV Head数和Attention Head数）。
- 支持FP16/FP8/FP32/INT8/INT4五种推理精度切换，分别按各精度对应的字节数计算显存占用。
- 同时估算KV Cache显存、模型权重显存、激活值显存三部分，并给出三者合计的总显存需求。
- 内置7款主流GPU（H200 141GB/H100 80GB/A100 80GB/L40S 48GB/A100 40GB/RTX 4090 24GB/RTX 3090 24GB）的显存容量对照表，逐一标注当前配置是否可以容纳。
- 提供同一模型配置下五种精度的显存对比表格，直观展示降低精度（如从FP16切到INT4）能节省多少显存。
使用场景
部署大模型前选择合适的GPU型号
算法工程师在决定用哪款GPU部署自建大模型服务前，输入模型参数和预期并发的batch size/序列长度，用GPU兼容性表格快速判断H100/A100/消费级显卡是否够用。
评估量化后能否用更便宜的GPU替代
团队考虑把模型从FP16量化到INT8或INT4以降低成本，用精度对比表格直接看到显存需求的下降幅度，评估是否可以用RTX 4090等消费级显卡替代A100。
规划长上下文场景的显存预算
需要支持超长上下文（如32K、128K tokens）对话的场景，通过调大序列长度参数观察KV Cache显存的增长趋势，提前评估是否需要升级GPU或采用KV Cache压缩方案。
多用户并发场景下估算总显存需求
面向多用户在线推理服务的场景，通过调整Batch Size模拟并发请求数，估算服务在不同并发量下的显存需求上限，为容量规划提供依据。
常见问题
「自定义模型」里的KV Head数和Attention Head数为什么要分开填？
这两个参数用于支持GQA（分组查询注意力）架构：当KV Head数小于Attention Head数时，说明模型使用了GQA来减少KV Cache的显存占用（多个Attention Head共享同一组KV），如果模型不使用GQA（标准MHA），两者填相同的值即可。
预设模型的参数是从哪里来的，会实时更新吗？
预设模型的层数、隐藏维度等结构参数是工具内置的固定参考数据（基于对应模型的公开架构信息），不会连接任何网络实时获取或更新，如果模型有新版本发布，参数可能未同步，建议以官方模型卡为准做最终核对。
「激活值显存」是怎么估算的，准确吗？
激活值显存是根据Batch Size、序列长度和模型隐藏层维度做的粗略估算，实际推理框架（如vLLM、TensorRT-LLM）会有各自的显存管理和优化策略（如PagedAttention、显存复用等），实际占用可能明显低于此估算值，此工具仅提供保守的上限参考。
精度越低是不是效果越差？
工具本身只做显存估算，不评估精度对模型效果的影响。一般来说INT4等更激进的量化可能带来一定程度的模型效果损失，具体影响因模型和量化方法而异，需要结合实际评测结果综合判断，不能只看显存数字做决策。
GPU兼容性表格里显存刚好等于总需求算不算「可容纳」？
表格判断逻辑是GPU显存≥估算总需求即标记为可容纳，但实际部署中还需要为系统、其他进程、显存碎片等预留余量，建议选择显存明显富余（而非刚好够用）的GPU型号以保证稳定性。