Mistral 发布 Mistral Small 3.1,Apache 2.0 开源并支持 128k 上下文
Mistral AI 发布 Mistral Small 3.1,称其在同类权重模型中优于 Gemma 3 和 GPT-4o Mini,推理速度达 150 tokens 每秒,上下文窗口扩展至 128k tokens,并以 Apache 2.0 许可证开源。
推荐理由:官方公告给出具体基准对比、部署门槛和开放下载渠道,读者可据此评估它能否替代现有小型私有模型。
Mistral AI 发布 Mistral Small 3.1,称其在同类权重模型中优于 Gemma 3 和 GPT-4o Mini,推理速度达 150 tokens 每秒,上下文窗口扩展至 128k tokens,并以 Apache 2.0 许可证开源。
推荐理由:官方公告给出具体基准对比、部署门槛和开放下载渠道,读者可据此评估它能否替代现有小型私有模型。
Sakana AI 提出 TAID(Temporally Adaptive Interpolated Distillation)知识蒸馏方法,通过随学生模型学习进度动态调整的"中间教师"实现从 LLM 到 SLM 的高效知识迁移,该论文已被 ICLR 2025 接收为 Spotlight。
Sakana AI 发布日语小语言模型 TinySwallow-1.5B,采用新知识蒸馏方法 TAID,从 32B 参数 LLM 向 1.5B 参数 SLM 迁移知识,在同规模模型中取得最高日语基准分数。
Liquid AI 发布 LFM7B(7.7B 参数),采用非 Transformer 的 Liquid Foundation Model 架构,官方称在 7B-8B 同级模型中聊天表现领先,支持英语、阿拉伯语、日语等 8 种语言。
Mistral AI 发布面向端侧和边缘场景的两款模型 Ministral 3B 与 Ministral 8B,称其在 10B 以下级别创下知识、常识、推理、function-calling 和效率的新前沿。
推荐理由:官方发布明确了两款端侧小模型的上下文长度、API 定价和许可证范围,读者可直接评估其本地部署与 Agent 调用场景的适用性。
Liquid AI 发布第一代 Liquid Foundation Models(LFM),包含 1.3B、3.1B 和 40.3B MoE(激活参数 12B)三个语言模型,官方称在各规模上取得同级领先质量。
推荐理由:官方发布了三档模型的基准数据和内存表现,并说明非开源决定与边缘部署定位,读者可据此评估是否试用。
Zyphra 发布开源(Apache 2.0)端侧小模型 Zamba2-small(2.7B),称在相近规模模型中达到 SOTA 评测表现。该模型采用 Mamba2 与两个共享注意力块混合的架构,并在共享 MLP 上加 LoRA 投影;相比 Phi3-3.8B 实现约 2 倍首 token 速度、27% 内存开销降低和 1.29 倍生成延迟降低。
LlamaIndex 发布 Mozilla 客座教程,讲解用 llamafile 在笔记本上本地运行 LLM,并以 TinyLlama-1.1B 作为 LLM 与嵌入后端,结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。
推荐理由:教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径,可迁移到其他主题。
LlamaIndex 发布教程,讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型,各含 7B 参数,博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。
推荐理由:原文提供从安装到建 API 的完整本地 Mixtral 流程,含代码和硬件要求,读者可以直接照做搭建本地 RAG。