本地推理与微调显存配置：5档容量及模型规模参考

选显卡不能只看模型有多少参数：权重精度、运行时开销和输入长度都会占用显存。理解显存容量与模型参数规模匹配，才能避免模型权重勉强装入、实际运行却因缓存或临时张量而报错。下面按单卡容量给出五档参考，适用于常见文本生成模型的单路本地推理；具体上限会随模型结构、软件和设置变化。

先估权重，再为运行留余量

粗略估算权重时，16位精度约每个参数占2字节，8位约1字节，4位约0.5字节；量化还会有额外元数据，因此实际占用通常更高。举例说，约7B参数模型的4位权重本身约需3.5GB，16位约需14GB。这里的GB是简化估算，软件显示的GiB数值可能不同。

推理还要留出框架、临时计算和KV缓存空间。上下文长度增加，或同时处理多条请求，缓存需求也会上升。因此，不宜把显卡标称容量全部分配给权重。显存容量与模型参数规模匹配时，也要把目标上下文和并发数一起算进去。

显存容量	可优先考虑的配置	适用范围与限制
8GB	约1B至3B模型用16位；约7B模型可尝试4位量化	适合短上下文、单路问答或轻量实验。7B量化方案较吃紧，需减少上下文并检查是否发生显存溢出。
12GB	约3B至7B模型，优先考虑4位或8位	适合日常本地推理和短文档整理。较长输入、较大批次可能需要缩小上下文或降低精度。
16GB	约7B至8B模型可选较宽松的量化设置；约13B模型可尝试4位	适合较稳定的单路推理，也可进行受限的参数高效微调；长文本训练仍容易受到激活占用限制。
24GB	约13B至14B模型可考虑4位；约7B模型可用更高精度或更长上下文	在模型规模、输入长度之间有较多调整空间，适合较长文档推理和小规模LoRA微调，但不等于任意训练设置都能装下。
48GB及以上	约30B模型可尝试4位推理；更大模型需依精度与部署方式评估	适合较大模型、较长上下文或更充足的微调余量。模型并行、并发服务和训练批次仍会增加显存需求。

表中范围是配置起点，不是运行保证。模型的层数、词表、量化实现和推理框架都会改变实际占用；尤其是长上下文，可能让原本可运行的配置出现内存不足。

安装对应模型后，先用短输入、单条请求启动，再逐步增加上下文长度。若显存接近上限，优先减少上下文或并发；仍不足时，再考虑更低位量化或较小模型。量化可能影响输出质量，适合先用代表性任务对照检查。

LoRA只训练少量附加参数，但底座权重、前向激活和反向计算仍需显存。4位底座的参数高效微调能降低权重负担，却不能消除激活占用。实际操作可先选较小批次、缩短序列，再逐项增加长度或批次；记录每次设置，出现溢出就回退一档。

同一模型处理更长输入时，KV缓存会随上下文和并发增长。对长文档可先分段摘要，再汇总；若必须整段输入，可降低并发、缩短生成长度，并确认推理工具支持所需的缓存管理方式。这样通常比只盯着参数量更有效。

归根结底，显存容量与模型参数规模匹配不是一张固定对照表，而是权重精度、任务类型和输入长度的共同结果。预算有限时先选较小模型或量化推理；要做微调、长文本或多路服务，则应留出更大余量。

通常不稳妥。权重之外还有运行开销和缓存，应留余量并以实际启动测试为准。

不一定。4位通常更省显存，8位可能保留更多精度；还需看工具支持和任务效果。

不只如此。还要检查模型支持的上下文长度、缓存设置与并发；必要时分段处理。

不能直接照搬。训练还要保存激活等数据，建议从小批次、较短序列开始验证。