部署教程
一、 Qwen3.8-27B 开源模型
目前量化的 Qwen3.8 27B 模型总共有21个，格式为GGUF，可以适配多种不同尺寸的显存大小，最低支持8G显存，当然如果你的显存是低于8G的，那么你可以直接跳到第四步，下载越狱的模型，越狱模型最低支持4G显存！
1、Huggingface 下载： 【点击前往】
2、网盘下载： 【点击前往】
3、高速下载：【点击前往】
| 量化 | 文件大小 | 权重(GiB) | 8K 上下文 | 32K 上下文 | 建议显卡 |
|---|---|---|---|---|---|
| UD-IQ2_XXS | 9.01 GB | 8.4 | 9.9 | 12.4 | 8~12G（3060 12G / 5070） |
| UD-IQ2_M | 10.3 GB | 9.6 | 11.1 | 13.6 | 12G（32K 需降 ctx） |
| UD-Q2_K_XL | 10.7 GB | 10.0 | 11.5 | 14.0 | 12G 极限 / 16G 舒适 |
| UD-IQ3_XXS | 11.9 GB | 11.1 | 12.6 | 15.1 | 16G（4060Ti 16G / 5060Ti 16G） |
| Q3_K_S | 12.6 GB | 11.7 | 13.2 | 15.7 | 16G |
| UD-Q3_K_XL | 13.4 GB | 12.5 | 14.0 | 16.5 | 16G  低显存首选 |
| Q3_K_M | 13.8 GB | 12.9 | 14.4 | 16.9 | 16G |
| IQ4_XS | 15.7 GB | 14.6 | 16.1 | 18.6 | 20G / 24G |
| Q4_K_S / Q4_0 | 16.1 GB | 15.0 | 16.5 | 19.0 | 20G（7900XT / 4000 Ada） |
| IQ4_NL | 16.3 GB | 15.2 | 16.7 | 19.2 | 20G |
| Q4_K_M | 17.1 GB | 15.9 | 17.4 | 19.9 | 24G |
| Q4_1 | 17.5 GB | 16.3 | 17.8 | 20.3 | 24G |
| UD-Q4_K_XL | 17.9 GB | 16.7 | 18.2 | 20.7 | 24G 全场最佳性价比 |
| Q5_K_S | 19.3 GB | 18.0 | 19.5 | 22.0 | 24G（3090 / 4090） |
| Q5_K_M | 19.8 GB | 18.4 | 19.9 | 22.4 | 24G |
| UD-Q5_K_XL | 20.2 GB | 18.8 | 20.3 | 22.8 | 24G 偏紧 / 32G 舒适 |
| Q6_K | 22.9 GB | 21.3 | 22.8 | 25.3 | 24G 仅短上下文 / 32G |
| UD-Q6_K_XL | 25.9 GB | 24.1 | 25.6 | 28.1 | 32G（5090） |
| Q8_0 | 29 GB | 27.0 | 28.5 | 31.0 | 32G 极限 / 48G |
| UD-Q8_K_XL | 31.5 GB | 29.3 | 30.8 | 33.3 | 48G（A6000 / 双卡 24G） |
| BF16（文件夹） | ~54 GB | ~50 | ~52 | ~54 | 80G 或双卡 48G |
二、下载llama.cpp
1、Github 下载：【点击前往】
2、网盘下载：【点击前往】
三、一键启动脚本
1、国内网盘下载：【点击前往】
2、国外网盘下载：【点击下载】
2、备用高速下载：【点击前往】
该一键启动脚本可以自动识别你当前的电脑硬件配置，并根据你的配置帮你匹配合适的启动参数，同时支持加载多个模型，启动后可以自动切换你需要的模型，超级方便！
启动脚本后，它会自动弹出窗口进入到 llama.cpp 控制面板
四、越狱模型（无审查）
Qwen3.8-27B 现在已经推出了多个真正无审查的越狱模型，如果你想更自由，不受约束和限制，在本地使用越狱模型，那么下方的模型切勿错过！真正实现模型自由，几乎可以满足你任何的特殊需求。并且最低支持4G显存！
1、Huggingface 下载 【点击前往】
2、高速下载：【点击前往】
加载越狱模型以后，你就可以放飞自我了~~~，比如编写黑客、安全软件
比如编写“大人级”的小说
五、对接 Hermes Agent
1、官方下载：【点击前往】
2、高速下载：【点击前往】
原创文章，作者：AI下载网站，如若转载，请注明出处：https://www.qidm.com/Ai/97
