RTX 4090 模型快照

RTX 4090 模型快照 面向 RTX 4090 单卡本地部署的模型对比页，展示截至 `2026-03-21` 的代表性候选。 应用简介 本应用用于快速查看 24GB 显存单卡环境下值得关注的本地模型，并区分不同类型的部署依据： • 官方明确说明可在单卡运行 • 官方给出 24GB 类消费卡或量化显存依据 • 基于参数规模与官方量化版本存在性的保守估算 当前收录 • `Qwen3.5-27B` • `Qwen3.5-35B-A3B` • `Mistral Small 3.1` • `Gemma 3 27B QAT` • `QwQ-32B-AWQ` • `DeepSeek-R1-Distill-Qwen-32B` 页面结构 • 最新模型层：优先展示 2026 年新增条目 • 模型卡片区：展示参数规模、模态、发布时间和权重显存估算 • 详情区：展示单模型的判断依据、适用场景与来源链接 使用方式 1. 先查看最新模型层与默认排序结果 2. 结合模态、适配档位和发布时间层进行筛选 3. 打开详情区核对来源与 4090 部署边界 说明 • 显存条仅反映模型权重大致占用 • 实际部署仍需结合上下文长度与 KV Cache 判断 • 多模态和长上下文场景应采用更保守的显存预算 数据来源 • `https://huggingface.co/Qwen/Qwen3.5-27B` • `https://huggingface.co/Qwen/Qwen3.5-27B-GPTQ-Int4` • `https://huggingface.co/Qwen/Qwen3.5-35B-A3B` • `https://huggingface.co/Qwen/Qwen3.5-35B-A3B-GPTQ-Int4` • `https://mistral.ai/news/mistral-small-3-1` • `https://developers.googleblog.com/en/introducing-gemma3/` • `https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/` • `https://qwenlm.github.io/blog/qwq-32b/` • `https://huggingface.co/Qwen/QwQ-32B-AWQ` • `https://huggingface.co/deepseek-ai/DeepSeek-R1` • `https://images.nvidia.com/aem-dam/Solutions/Data-Center/l4/nvidia-ada-gpu-architecture-whitepaper-V2.02.pdf`