跳到正文
Unsloth AI· @UnslothAI · X·· 3 小时前精选AI 评分77
AI 导读

Unsloth 发布 Mistral Le Chonk(Mistral Large 4,1T 参数 MoE,52B 激活)的 Dynamic 1-bit GGUF,可在 Mac Studio 上本地运行,保留 91% top-1 准确率,体积约 233GB(较 1.1TB FP8 小 80%)。图为各量化档位给出硬件需求,1-bit 需 256-270GB 内存,最小 UD-IQ1_S 约占 233GB 磁盘,并支持文本与图像输入、1M 上下文和 160+ 语言。GGUF 与指南见 huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF 和 unsloth.ai/docs/models/mistral-large-4。

推荐理由

原文给出在 Mac Studio 上本地运行 1T 参数模型的量化方案和硬件需求表,读者可直接照做部署。

正文 · AI 翻译

Mistral Le Chonk 现在可以在本地运行了!

这个 1 万亿参数模型可以在 Mac Studio 上运行,使用的是我们的 1-bit GGUF,保留了 91% 的 top-1 准确率。

Le Chonk 是迄今为止最强的西方开源模型。

GGUF:https://huggingface.co/unsloth/Mistral-Large-4-1T-A52B-GGUF
指南:https://unsloth.ai/docs/models/mistral-large-4

引用Mistral AI@MistralAI
今天,我们发布了全新改进版 Le Chonk 的权重,推进智能体编程与网络安全领域的开放前沿。 💻 为构建而生:Le Chonk 在 @cognition 的 FrontierCode 上于开放模型中排名第一,并在 @artificialanalysis 上树立了帕累托效率的新基准。 🛡 为防御而生:网络防御领域的顶尖水平,已通过全球领先网络安全厂商的检验,包括 @CrowdStrike、@cloudflare、@rubrik、@zscaler 等。 为主权而构建:让它成为你的。在 @huggingface 上下载权重,使用 Mistral Forge 进行定制,并部署到你需要的任何地方。 阅读我们团队和客户的更多内容 👇:
原文

Today, we release the weights of a new and improved Le Chonk, advancing the open frontier for agentic coding and cybersecurity. 💻 Built to build: Le Chonk ranks #1 on @cognition’s FrontierCode among open models, and sets a new benchmark for Pareto efficiency on @artificialanalysis. 🛡 Built to defend: State-of-the-art in cyberdefense, put through the paces by the world's leading cyber vendors, including @CrowdStrike, @cloudflare, @rubrik, @zscaler, and others. Built for sovereignty: Make it yours. Download the weights on @huggingface , customize it with Mistral Forge, and deploy it wherever you need it. Read more from our team and customers 👇:

在 X 查看被引用的帖子

来源:Unsloth AI · x.com