跳到正文
Unsloth AI· @UnslothAI · X·· 2026-08-12AI 评分60
AI 导读

Unsloth 将 Qwen3.8-2.4T-A95B 从 4.9TB 压缩到 397GB(缩小 91%),通过选择性量化的 Dynamic 1-bit 方法,可在 410GB+ RAM/VRAM 上经 Unsloth Desktop 本地运行。图中补充:Qwen3.8 系列还包括 Qwen3.8-27B 和 Qwen3.8-Max,支持视觉与思考能力、256K 上下文(最高 1M tokens);动态 IQ1_S 版本为 508GB(缩小 89%);GGUF 下载见 https://huggingface.co/unsloth/Qwen3.8-2.4T-A95B-GGUF,教程见 https://unsloth.ai/docs/models/qwen3.8。

正文 · 原文

Qwen3.8 can now be run locally! 🔥

We shrank Qwen3.8-2.4T-A95B from 4.9TB to 397GB (-91% size) via Dynamic 1-bit by selectively quantizing layers

Run on 410GB+ RAM/VRAM via Unsloth Desktop

Qwen3.8 rivals GPT-5.6 Sol

Guide: https://unsloth.ai/docs/models/qwen3.8
GGUF: https://huggingface.co/unsloth/Qwen3.8-2.4T-A95B-GGUF

来源:Unsloth AI · x.com