跳到正文
2025年3月17日周一
  1. Mistral AI:News73

    Mistral 发布 Mistral Small 3.1,Apache 2.0 开源并支持 128k 上下文

    Mistral AI 发布 Mistral Small 3.1,称其在同类权重模型中优于 Gemma 3 和 GPT-4o Mini,推理速度达 150 tokens 每秒,上下文窗口扩展至 128k tokens,并以 Apache 2.0 许可证开源。

    推荐理由:官方公告给出具体基准对比、部署门槛和开放下载渠道,读者可据此评估它能否替代现有小型私有模型。

2025年2月24日周一
2025年1月29日周三
2025年1月20日周一
2024年10月16日周三
  1. Mistral AI:News67

    Mistral AI 发布 Ministral 3B 和 Ministral 8B 端侧模型

    Mistral AI 发布面向端侧和边缘场景的两款模型 Ministral 3B 与 Ministral 8B,称其在 10B 以下级别创下知识、常识、推理、function-calling 和效率的新前沿。

    推荐理由:官方发布明确了两款端侧小模型的上下文长度、API 定价和许可证范围,读者可直接评估其本地部署与 Agent 调用场景的适用性。

2024年9月30日周一
  1. Liquid AI 模型与工程博客64

    Liquid AI 发布首批 Liquid Foundation Models:LFM-1B/3B/40B

    Liquid AI 发布第一代 Liquid Foundation Models(LFM),包含 1.3B、3.1B 和 40.3B MoE(激活参数 12B)三个语言模型,官方称在各规模上取得同级领先质量。

    推荐理由:官方发布了三档模型的基准数据和内存表现,并说明非开源决定与边缘部署定位,读者可据此评估是否试用。

2024年7月28日周日
  1. Zyphra Research51

    Zyphra 开源 Zamba2-small 2.7B 端侧小模型

    Zyphra 发布开源(Apache 2.0)端侧小模型 Zamba2-small(2.7B),称在相近规模模型中达到 SOTA 评测表现。该模型采用 Mamba2 与两个共享注意力块混合的架构,并在共享 MLP 上加 LoRA 投影;相比 Phi3-3.8B 实现约 2 倍首 token 速度、27% 内存开销降低和 1.29 倍生成延迟降低。

2024年5月14日周二
  1. LlamaIndex:产品、工程与评测62

    用 LlamaIndex 和 llamafile 搭建本地私有研究助手

    LlamaIndex 发布 Mozilla 客座教程,讲解用 llamafile 在笔记本上本地运行 LLM,并以 TinyLlama-1.1B 作为 LLM 与嵌入后端,结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。

    推荐理由:教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径,可迁移到其他主题。

2023年12月21日周四
  1. LlamaIndex:产品、工程与评测71

    LlamaIndex 教程:用 Ollama 本地运行 Mixtral 8x7b 并构建 RAG 应用

    LlamaIndex 发布教程,讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型,各含 7B 参数,博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。

    推荐理由:原文提供从安装到建 API 的完整本地 Mixtral 流程,含代码和硬件要求,读者可以直接照做搭建本地 RAG。