|
查看: 53|回复: 0
|
Qwen3.6-35B-A3B 无审查越狱性版本!附带 K_P 量化! 最低只需6G显存
[复制链接]
|
|
|
AI部署与算力
post by hauhau901 1 day ago
hauhau901
Qwen3.6 更新来了。35B-A3B 侵略性变体,与我的 3.5-35B 版本的 MoE 大小相同,但基于更新的 3.6。
它没有任何个性变化/调整,完全是 Qwen 的原始版本,完全无审查。
屏幕截图 2026-05-24 135820
0/465 拒绝。完全解锁,没有任何功能损失。
根据我自己的测试:没有问题。没有循环,没有降解,一切正常。
要禁用"思考",您需要编辑 jinja 模板,或者简单使用 kwarg {“enable_thinking”: false}
包含的内容:
- Q8_K_P, Q6_K_P, Q5_K_P, Q4_K_P, Q4_K_M, IQ4_NL, IQ4_XS, Q3_K_P, IQ3_M, Q2_K_P, IQ2_M
- 视觉支持的 mmproj
- 所有量化通过 imatrix 生成
K_P 量化回顾(给错过 122B 发布的朋友):使用模型特定分析的自定义量化,在最重要的地方保持质量。每个模型都有自己的优化配置文件。 实现了 1-2 级量化质量提升,文件大小约增加 5-15%。与 llama.cpp、LM Studio 以及任何读取 GGUF 的工具完全兼容(让 Ollama 启动可能更困难)。
快速规格:
- 总共 35B / ~3B 活动 (MoE — 256 专家,每个 token 路由 8 个)
- 262K 上下文
- 多模态(文本 + 图像 + 视频)
- 混合注意力:线性 + softmax (3:1 比例)
- 40 层
我在测试期间使用的一些采样参数:
temp=1.0, top_k=20, repeat_penalty=1, presence_penalty=1.5, top_p=0.95, min_p=0
但请务必查看官方 Qwen 推荐,因为他们对于思考和非思考模式有不同的设置 :slight_smile:
注意:与 llama.cpp 一起使用 --jinja 标志。K_P 量化在 LM Studio 的量化列中可能显示为"?"这纯粹是外观上的问题,模型加载和运行正常。
HF 的硬件兼容性小部件也不识别 K_P,因此点击"查看 +X 变体"或转到文件和版本以查看所有下载。
下载链接:https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive
国内下载:https://pan.quark.cn/s/d971b8a8b139
我所有的模型: HuggingFace-HauhauCS
希望大家喜欢这个版本。
消费级的低显存电脑也可以跑 |
|
|
|
|
|
|
|
|
| |
本周最热论坛帖子
|