模型发布只是开始：为什么 day-0 的 llama.cpp 支持比榜单更重要

先说结论#

我现在看一个开源模型，已经不会先看它在榜单上排第几了。我会先看另一个时间：

从模型发布，到主流推理后端真正支持，中间隔了多久。

我暂时把它叫作 release-to-runtime latency。

Qwen3.8-Flash-Next 这次很典型：8 月 26 日发布，llama.cpp 的主支持 PR 在 8 月 27 日合并。一天左右，模型从「仓库里有权重」变成「普通开发者可以用熟悉的本地推理工具启动」。这比一条“超过谁”的横评标题，更接近真实的生态进展。

但「支持已合并」也不等于「所有机器都适合生产」。Qwen3.8-Flash-Next 的 n-gram embedding 很吃内存，主线之后仍有 SM110、SM121、AMD HIP、并发请求等问题在跟踪，原生 MTP 也还在单独的开放 PR 里。

所以这篇不做“Qwen 又赢了”的结论。我更想把这条链路拆开：一个模型到底怎样才算真正到达开发者手里。

这次我没有在本机下载 75GB 以上的权重，也没有伪造自己的 tokens/s。下面的硬件数据分别来自 Qwen 官方模型卡、Unsloth 运行指南、llama.cpp 的合并 PR 和公开 issue；社区结果会明确标成社区结果。

Qwen3.8-Flash-Next 到底是什么#

Qwen 官方把它定位成 Qwen4 架构的早期预览，而且是 open-weight，不是一个单纯的 Qwen3 小版本。

规格先摆在这里：

它的结构有几个地方直接影响本地部署：

• Gated DeltaNet 和 Qwen Sparse Attention（QSA）混合，QSA 按 micro-block 选择上下文
• 4 路 Gated Residual
• 51B 的 n-gram embedding，官方设计上允许更多地向主机内存卸载
• 另外有 MTP draft head，后续可以用于 speculative decoding

这解释了一个容易被误解的地方：6B 激活不等于 6B 内存。

MoE 的“每 token 只计算一小部分”主要影响计算量，不会把所有权重从文件和内存需求里抹掉。尤其是这个 51B 的 n-gram embedding，更像一个很大的查表结构。它可能不需要像普通 dense 参数一样参与每一步矩阵乘法，但仍然要被加载、映射或放到别的存储层里。

目前公开的 GGUF 文件也说明了这一点。我查到的 Unsloth 仓库里：

• UD-IQ1_M 三个分片合计约 74.5 GB（十进制）
• UD-IQ4_XS 三个分片合计约 93.7 GB
• UD-Q4_K_XL 四个分片合计约 111.3 GB
• Q8_0 六个分片合计约 188.2 GB

这只是模型文件大小，不是完整运行时需求。上下文 KV cache、临时计算 buffer、系统内存余量和视觉 projector 都还要占空间。

Unsloth 的运行指南给出的经验线是：最小量化至少需要 75GB RAM 或 unified memory，实际更建议 96GB。这个范围更像“能开始尝试”的门槛，不应该直接理解成“任何 75GB 机器都能舒服地跑”。

发布到可用，中间差了什么#

我现在会把模型接入想成这样一条链：

1
权重 / 配置
2
    ↓
3
模型格式与 converter
4
    ↓
5
计算图与特殊算子
6
    ↓
7
量化、分片、内存布局
8
    ↓
9
CPU / CUDA / Metal / HIP 等后端
10
    ↓
11
chat template、工具调用、视觉输入
12
    ↓
13
单请求正确性
14
    ↓
15
长上下文、并发、持续负载
16
    ↓
17
真正适合接入 Agent

榜单通常只覆盖中间某一小段：给模型一批输入，看它输出什么。

而本地 Agent 真正会遇到的是另一组问题：

• 能不能在自己的硬件上加载
• 模型文件是不是完整的分片集合
• n-gram 表应该放 GPU、CPU 还是统一内存
• 上下文变长后速度会不会突然塌掉
• 工具调用格式是否被正确解析
• 第二个并发请求进来时会不会崩
• OOM 或请求取消之后，服务还能不能继续用

这就是为什么我觉得 day-0 runtime support 比一张 benchmark 表更重要。它不是说 benchmark 没有价值，而是说 benchmark 不能替代“模型能不能被使用”这件事。

llama.cpp 这次到底做了多少工作#

Qwen 官方 README 现在直接写了 llama.cpp supports the Qwen3.8-Flash-Next (text & vision)。对应的主线支持来自 PR #27742，已经在 8 月 27 日合并。

这个 PR 不是加一个模型名称那么简单，改动涉及 28 个文件，主要包括：

• 新增 qwen4exp 模型转换逻辑
• 新增 Qwen4Exp 的计算图
• 支持 QSA sparse attention
• 接入 vision 路径
• 处理 n-gram embedding 的加载和查表
• 修复量化器和 tensor type fallback
• 增加混合内存和缓存相关逻辑
• 补充模型结构 roundtrip 检查

PR 作者还给出了几类对照验证：

• wikitext-2 perplexity：实现 4.0068，对照实现 4.0126
• prose 512 tokens 的 top-1 agreement：98.0%
• QSA 在预算以下与 dense 路径 bit-identical
• CPU、CUDA、Metal 的模型结构检查通过

这些数据应该按“PR 作者在该实现上的验证”来读，不是我重新跑出的独立 benchmark，也不等于所有量化和硬件配置都已经稳定。

真正值得注意的是，llama.cpp 这次把模型的特殊结构接进了一个很多人已经熟悉的入口。对开发者来说，学习成本从“再学一套新的推理框架”降成了“更新 llama.cpp、准备一份 GGUF、调几项参数”。这就是 runtime support 的价值。

最小启动路径#

如果只是想验证文本推理，建议先用一个保守的上下文长度，不要上来就挑战 262K。

1
git clone https://github.com/ggml-org/llama.cpp
2
cd llama.cpp
3
cmake -B build -DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON
4
cmake --build build --config Release -j \
5
  --target llama-cli llama-server llama-mtmd-cli llama-gguf-split

1
pip install -U "huggingface_hub[cli]"
2

3
hf download unsloth/Qwen3.8-Flash-Next-GGUF \
4
  --local-dir ./models/qwen38 \
5
  --include 'UD-IQ4_XS/*' 'mmproj*'

1
./build/bin/llama-server \
2
  --model ./models/qwen38/UD-IQ4_XS/Qwen3.8-Flash-Next-UD-IQ4_XS-00001-of-00003.gguf \
3
  --alias qwen38 \
4
  --jinja \
5
  --ctx-size 32768 \
6
  --host 127.0.0.1 \
7
  --port 8000

1
  --mmproj ./models/qwen38/mmproj-F16.gguf

1
curl http://127.0.0.1:8000/v1/chat/completions \
2
  -H 'Content-Type: application/json' \
3
  -d '{
4
    "model": "qwen38",
5
    "messages": [
6
      {"role": "user", "content": "用三句话解释 QSA 解决了什么问题。"}
7
    ],
8
    "temperature": 0.6,
9
    "max_tokens": 256
10
  }'

“支持已合并”后仍然要看什么#

这次的后续 issue 很能说明问题。

我现在会怎样评估一个新模型#

以后遇到新模型，我会按下面这张表走，不再只看发布当天的榜单：

其中最重要的不是某一项的峰值，而是从模型权重到工作流之间的摩擦有多大。

一个分数稍低、但当天就能被 llama.cpp、MLX 和一个 OpenAI 兼容 server 接住的模型，实际影响力可能超过一个榜单更高、但只能在官方 API 里调用的模型。因为前者已经进入了别人的程序、脚本和 Agent，后者还停留在产品页面里。

最后#

Qwen3.8-Flash-Next 这次真正值得记住的，不是“6B 激活”或者某个横评标题，而是它让一条判断变得更清楚：

开源模型的竞争，已经不只发生在训练和 benchmark 上，也发生在它多久能进入开发者已经在用的 runtime。

llama.cpp day-0 支持，是这个模型生态成熟度的信号；后续 issue，则提醒我们别把“能加载”误写成“能生产”。

我会继续看榜单，但以后会在旁边多记一列：release 到 runtime，花了几天。

参考资料#

• Qwen3.8-Flash-Next 官方仓库
• Qwen3.8-Flash-Next Hugging Face 模型卡
• Unsloth：Qwen3.8-Flash-Next 本地运行指南
• llama.cpp PR #27742：加入 qwen4exp 支持
• llama.cpp PR #27836：Qwen3.8-Flash-Next MTP draft head
• llama.cpp Issue #27763：SM110 offload 输出异常
• llama.cpp Issue #27856：HIP 长上下文速度下降
• OKP genai-hot：Qwen3.8-Flash-Next 热点证据