佳礼资讯网

 找回密码
 注册

ADVERTISEMENT

搜索
查看: 53|回复: 0

Qwen3.6-35B-A3B 无审查越狱性版本!附带 K_P 量化! 最低只需6G显存

[复制链接]
发表于 25-5-2026 10:49 PM 来自手机 | 显示全部楼层 |阅读模式
AI部署与算力
post by hauhau901 1 day ago

hauhau901

Qwen3.6 更新来了。35B-A3B 侵略性变体,与我的 3.5-35B 版本的 MoE 大小相同,但基于更新的 3.6。

它没有任何个性变化/调整,完全是 Qwen 的原始版本,完全无审查。

屏幕截图 2026-05-24 135820
0/465 拒绝。完全解锁,没有任何功能损失。

根据我自己的测试:没有问题。没有循环,没有降解,一切正常。

要禁用"思考",您需要编辑 jinja 模板,或者简单使用 kwarg {“enable_thinking”: false}

包含的内容:

- Q8_K_P, Q6_K_P, Q5_K_P, Q4_K_P, Q4_K_M, IQ4_NL, IQ4_XS, Q3_K_P, IQ3_M, Q2_K_P, IQ2_M

- 视觉支持的 mmproj

- 所有量化通过 imatrix 生成

K_P 量化回顾(给错过 122B 发布的朋友):使用模型特定分析的自定义量化,在最重要的地方保持质量。每个模型都有自己的优化配置文件。 实现了 1-2 级量化质量提升,文件大小约增加 5-15%。与 llama.cpp、LM Studio 以及任何读取 GGUF 的工具完全兼容(让 Ollama 启动可能更困难)。

快速规格:

- 总共 35B / ~3B 活动 (MoE — 256 专家,每个 token 路由 8 个)

- 262K 上下文

- 多模态(文本 + 图像 + 视频)

- 混合注意力:线性 + softmax (3:1 比例)

- 40 层

我在测试期间使用的一些采样参数:

temp=1.0, top_k=20, repeat_penalty=1, presence_penalty=1.5, top_p=0.95, min_p=0

但请务必查看官方 Qwen 推荐,因为他们对于思考和非思考模式有不同的设置 :slight_smile:

注意:与 llama.cpp 一起使用 --jinja 标志。K_P 量化在 LM Studio 的量化列中可能显示为"?"这纯粹是外观上的问题,模型加载和运行正常。

HF 的硬件兼容性小部件也不识别 K_P,因此点击"查看 +X 变体"或转到文件和版本以查看所有下载。

下载链接:https://huggingface.co/HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive

国内下载:https://pan.quark.cn/s/d971b8a8b139

我所有的模型: HuggingFace-HauhauCS

希望大家喜欢这个版本。

消费级的低显存电脑也可以跑
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则

 

ADVERTISEMENT



ADVERTISEMENT



ADVERTISEMENT

ADVERTISEMENT


版权所有 © 1996-2026 Cari Internet Sdn Bhd (483575-W)|IPSERVERONE 提供云主机|广告刊登|关于我们|私隐权|免控|投诉|联络|脸书|佳礼资讯网

GMT+8, 26-5-2026 06:23 AM , Processed in 0.049453 second(s), 8 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表