RTX3060 12G 模型評比

Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-GGUF⭐⭐⭐⭐⭐
https://huggingface.co/cvgro/Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-GGUF

llama-server.exe -m "models\Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-APEX-I-Compact.gguf" --spec-type draft-mtp --no-mmap --jinja -ngl 99 -ncmoe 38 -fa on -np 1 -c 262144 -ctk q8_0 -ctv q8_0 --image-min-tokens 1024 --temp 0.6 --top-k 20

居然可跑到 44 t/s
作者來源
【心得】本地3070跑 Qwen3.6-35B-A3B 調教心得 @電腦應用綜合討論哈啦板 – 巴哈姆特

Qwen3.6-35B-A3B-UD-Q4_K_XL⭐⭐⭐⭐⭐
https://huggingface.co/unsloth/Qwen3.6-35B-A3B-GGUF

llama-server.exe -m "models\Qwen3.6-35B-A3B-UD-Q4_K_XL.gguf" --spec-type draft-mtp --no-mmap --jinja -ngl 99 -ncmoe 38 -fa on -np 1 -c 262144 -ctk q8_0 -ctv q8_0 --image-min-tokens 1024 --temp 0.6 --top-k 20

40 t/s
這串參數真的很神,Q4模型可是22GB ,用3060 12G VRAM居然跑的動

Qwen_Qwen3-30B-A3B-IQ3_M ⭐⭐⭐⭐
大約會有33 t/s
速度相當不錯
吐出內容也不會太呆板
https://huggingface.co/Qwen/Qwen3-30B-A3B

Qwen3.5-9B-Uncensored⭐⭐
是可以跑沒錯,但9B先天就不太聰明,吐出內容有點不夠好

Qwen3.8-27B-Uncensored-IQ2_M⭐⭐
內容還不錯,但速度大概只有13 t/s

2026-08-19 9:21