跳到正文
2024年7月16日周二
  1. Mistral AI:News62

    Mistral 发布 Mamba 架构代码模型 Codestral Mamba

    Mistral 发布 Mamba 架构代码模型 Codestral Mamba,采用线性时间推理,可免费使用、修改和分发。模型具备高级代码与推理能力,性能与 SOTA Transformer 模型相当,已测试最高 256k tokens 的上下文检索能力,共 7,285,403,648 参数。

    推荐理由:官方说明了 Mamba 架构在线性推理时长和长序列上的优势,以及 256k 测试、部署渠道和许可证差异,可据此判断适用场景。

2024年7月3日周三
  1. 通义 QwenAudio:原创语音项目62

    FunAudioLLM 发布 Fun-CosyVoice 3.0 开源语音合成模型

    通义 FunAudioLLM 团队开源基于 LLM 的 TTS 系统 Fun-CosyVoice 3.0,官方称在内容一致性、说话人相似度和韵律自然度上超越前代 CosyVoice 2.0,面向零样本多语言语音合成。

    推荐理由:官方发布开源 TTS 新版本,附评测表、安装与部署方式,适合关注多语言语音合成落地的开发者参考。

2024年6月27日周四
2024年6月14日周五
2024年5月29日周三
  1. Mistral AI:News73

    Mistral 发布首个代码模型 Codestral,22B 开放权重支持 80+ 编程语言

    Mistral 发布其首个代码生成模型 Codestral,为 22B 开放权重模型,训练覆盖 80+ 编程语言,采用 32k 上下文窗口,并支持 Fill-in-the-middle 补全。

    推荐理由:官方发布首次给出模型规模、语言覆盖和专用端点细则,读者可据此评估是否将其接入现有编码工作流。

2024年5月17日周五
  1. DeepSeek:API 更新日志68

    DeepSeek 将 deepseek-chat 升级为 DeepSeek-V2-0517,指令跟随与 JSON 输出能力大幅提升

    deepseek-chat 模型升级为 DeepSeek-V2-0517,IFEval Benchmark Prompt-Level 准确率从 63.9% 跃升至 77.6%,API 端“system”区域指令跟随能力同步优化,增强沉浸式翻译、RAG 等任务体验。JSON 格式输出准确性提升,内部测试集解析率从 78% 提高至 85%,引入恰当正则表达式后进一步升至 97%。

    推荐理由:DeepSeek V2 的指令跟随从及格线拉到优秀线,IFEval 提升近 14 个点,沉浸式翻译和 RAG 体验会有明显改善,做应用层的值得试一下。

2024年5月14日周二
  1. Sam Altman:Blog

    GPT-4o

    OpenAI 将 GPT-4o 向所有 ChatGPT 用户免费开放,无广告。全新语音(及视频)模式响应速度接近人类,表现力极强,被 Sam Altman 称为「用过最好的计算机界面」,像电影里的 AI。未来还将支持个性化、代操作等功能。

    推荐理由:Sam Altman 解读 GPT-4o 发布,强调语音交互与免费策略

2024年5月13日周一
  1. OpenAI:官网动态87

    OpenAI 发布 GPT-4o 并向 ChatGPT 免费用户开放更多工具

    OpenAI 发布最新旗舰模型 GPT-4o,并在 ChatGPT 中向免费用户开放更多功能。官方称这是其最新旗舰模型,同时扩展了免费版 ChatGPT 可用的能力范围。

    推荐理由:OpenAI 官方宣布旗舰模型上线,同时明确免费用户可用范围扩大,适合据此评估对现有 ChatGPT 使用方式的影响。

2024年4月17日周三
  1. Mistral AI:News77

    Mistral 发布开源模型 Mixtral 8x22B,采用 Apache 2.0 许可证

    Mistral 发布开源稀疏混合专家模型 Mixtral 8x22B,总参数 141B,仅激活 39B,上下文窗口 64K tokens,以 Apache 2.0 许可证开放。模型支持英语、法语、意大利语、德语和西班牙语,具备原生函数调用能力,指令版在 GSM8K maj@8 得分 90.8%,Math maj@4 得分 44.6%,现已在 la Plateforme 上提供。

    推荐理由:官方发布原文给出了活跃参数、上下文窗口、许可证和基准成绩,读者可以据此评估它在开源模型中的成本与性能定位。

2024年4月16日周二
2024年4月15日周一
  1. EleutherAI:Blog

    Pile-T5:基于 The Pile 训练的 T5 模型

    Pile-T5 是研究人员基于 T5 架构,在 The Pile 大规模文本数据集上训练的语言模型。该模型继承了 T5 的文本到文本转换框架,通过在大规模多样化语料上的预训练,提升了自然语言理解与生成能力。Pile-T5 的发布为相关研究提供了基于 The Pile 数据训练的 T5 变体,适用于各类下游自然语言处理任务。

2024年4月12日周五
  1. xAI:News

    Grok-1.5 Vision 预览版

    xAI 发布 Grok-1.5 Vision 预览版,新增视觉理解能力,可处理图像、图表及文档内容,支持跨模态推理与视觉问答,现面向早期测试者开放试用。

    推荐理由:xAI发布Grok-1.5 Vision预览版,具备多模态视觉理解能力

2024年3月28日周四
  1. xAI:News

    Grok-1.5 正式发布

    xAI 发布 Grok-1.5 大模型,推理与编程能力显著提升,支持 128K 上下文窗口,数学与代码基准测试成绩大幅改进,已向 X 平台 Premium+ 用户开放。

2024年3月21日周四
  1. Suno:Blog77

    Suno 发布 v3 模型,可生成两分钟录音室级歌曲

    Suno 发布 v3 模型,称其为首个能生成录音室级音乐的自家模型,已在 https://app.suno.ai 向全部用户开放,可在几秒内生成完整的两分钟歌曲。改进包括更好的音质、更多风格流派、更强的提示词遵循,减少幻觉并有更自然的结尾;v4 已在开发中。模型不识别对其他艺术家的引用,并采用专有的不可听水印技术检测 Suno 生成的歌曲。

    推荐理由:官方说明了 v3 在音质、风格和提示词遵循上的改进,并提及不可听水印等防滥用措施。

2024年2月26日周一
  1. Mistral AI:News74

    Mistral 发布旗舰模型 Mistral Large,并通过 Azure 提供服务

    Mistral 发布最新旗舰模型 Mistral Large,称其在常用基准上仅次于 GPT-4,是通过 API 普遍可用的全球第二大模型。Mistral Large 原生支持英法德西意五种语言,具备 32K token 上下文窗口、function calling 和 JSON 输出模式,可在 la Plateforme 与 Azure 使用。

    推荐理由:官方发布公告给出基准对比、多语言能力、API 与 Azure 获取方式,读者可据此评估两个新模型在性能与成本间的取舍。

2024年2月15日周四
  1. OpenAI:官网动态83

    OpenAI 发布 Sora 视频生成模型,提出视频模型可作为世界模拟器

    OpenAI 发布视频生成模型 Sora,可生成一分钟高保真视频。模型基于 Transformer 架构处理视频和图像潜在编码的时空 patch,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型。OpenAI 认为扩展视频生成模型是构建物理世界通用模拟器的一条有前景的路径。

    推荐理由:原文给出 Sora 的技术路线与能力边界,读者可以据此理解视频生成模型作为物理世界模拟器的思路。

2023年12月11日周一
  1. Mistral AI:News84

    Mistral AI 发布开源稀疏专家模型 Mixtral 8x7B

    Mistral AI 发布开源权重的稀疏专家模型 Mixtral 8x7B,采用 Apache 2.0 许可证,在多数基准上超过 Llama 2 70B 并以 6 倍推理速度匹配或超过 GPT3.5。

    推荐理由:官方发布给出基准对比、参数与成本结构和开源部署方案,读者可以据此评估它在开放权重模型中的位置。

2023年11月3日周五
  1. xAI:News

    xAI发布大模型Grok

    xAI发布大模型Grok,灵感源自《银河系漫游指南》,主打幽默叛逆风格,能回答敏感问题并通过X平台获取实时信息。底层模型Grok-1拥有330亿参数,在HumanEval编码测试达63.2%、MMLU达73%,性能超越GPT-3.5和同计算量级模型。在2023匈牙利高中数学考试中获C级(59%)。系统目前处于早期测试阶段。

2023年9月27日周三
  1. Mistral AI:News82

    Mistral AI 发布首个开源模型 Mistral 7B

    Mistral AI 发布公司宣言并开源首个 7B 参数模型 Mistral 7B,采用 Apache 2.0 协议,在标准英文和代码基准上超越所有现有 13B 以下开源模型。官方称三个月内组建团队并从零搭建 MLOps 栈与数据处理管线,同时开设 GitHub 仓库和 Discord 频道,未来将陆续发布更大模型。

    推荐理由:Mistral AI 阐明开源路线并发布首个模型,读者可了解其定位与 Mistral 7B 的实际性能表现。

  2. Mistral AI:News87

    Mistral AI 发布开源模型 Mistral 7B,性能超越 Llama 2 13B

    Mistral AI 发布 7.3B 参数开源模型 Mistral 7B,采用 Apache 2.0 许可证。官方重跑评测显示其在所有基准上超过 Llama 2 13B,在多项基准上超过 Llama 1 34B,代码性能接近 CodeLlama 7B。

    推荐理由:官方发布给出了与 Llama 2 全面的对比评测数据和 GQA、SWA 技术细节,模型以 Apache 2.0 开源可商用。

2023年6月29日周四
  1. LMSYS Blog

    开源 LLM 的上下文长度承诺究竟能兑现多少?

    LMSYS Org发布LongChat-7B与LongChat-13B模型,通过压缩旋转位置编码技术将LLaMA的上下文窗口从2K扩展至16K tokens。模型基于8万条(7B)和1.8万条(13B)curated对话数据微调,训练成本分别为300美元与700美元。评估显示,LongChat-13B的长程检索准确率较MPT-7B-storywriter等开源模型提升2倍,在MT-Bench基准测试中表现优异,显著缩小了与Claude-100K、GPT-4-32K等商业长文本模型的差距。

2023年3月30日周四
  1. LMSYS Blog79

    LMSYS 发布开源聊天模型 Vicuna-13B,用 ShareGPT 对话微调 LLaMA,训练成本约 $300

    LMSYS 团队发布 Vicuna-13B,通过约 70K ShareGPT 用户共享对话微调 LLaMA,训练成本约 $300,代码、权重和在线 demo 以非商业许可公开。GPT-4 作为评审的初步评估显示其达到 ChatGPT/Bard 90% 以上质量,在 45% 问题上不逊于 ChatGPT;团队同时提出基于 GPT-4 的自动评测框架,并说明其尚非严谨方法。

2023年3月14日周二
  1. OpenAI:官网动态91

    OpenAI 发布 GPT-4 多模态模型

    OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是接受图像和文本输入、输出文本的大型多模态模型,在多项专业和学术基准上达到人类水平表现,但在许多现实场景中仍不及人类。

    推荐理由:官方原文明确了 GPT-4 的多模态输入形态和基准表现定位,可作为了解该模型能力边界的直接信源。

2022年12月16日周五
2022年12月15日周四
2022年11月30日周三
  1. OpenAI:官网动态95

    OpenAI 发布对话式模型 ChatGPT

    OpenAI 训练了名为 ChatGPT 的模型,能以对话方式交互。对话格式让 ChatGPT 可以回答追问、承认错误、质疑错误前提并拒绝不当请求。

    推荐理由:OpenAI 官方首次介绍 ChatGPT,说明对话式交互在追问、纠错和拒答上的设计意图,可作为理解该产品起点的一手材料。

2022年9月21日周三
  1. OpenAI:官网动态74

    OpenAI 开源语音识别模型 Whisper

    OpenAI 训练并开源了名为 Whisper 的神经网络,其英文语音识别的稳健性和准确率接近人类水平。

    推荐理由:原文来自 OpenAI 官方,点明 Whisper 在英文语音识别上的稳健性和准确率接近人类水平,并直接开源。

2022年4月7日周四
  1. Sam Altman:Blog

    DALL•E 2

    OpenAI 发布 DALL•E 2 研究版本,支持通过自然语言指令生成和编辑图像。作者认为这标志着计算机界面新趋势——自然语言交互,并指出与 Copilot 不同,DALL•E 2 能独立完成完整作品,可能率先冲击创意工作而非体力劳动,预示 AI 对劳动力市场的潜在影响。团队计划今年夏天正式产品化,当前采用渐进式部署策略以评估风险。

2022年3月15日周二
2022年2月3日周四
  1. EleutherAI:Blog

    GPT-NeoX-20B 正式发布

    GPT-NeoX-20B 正式发布。这款拥有 200 亿参数的大规模语言模型由开发团队与云计算服务商 CoreWeave 合作训练完成。该模型在参数量级上达到 200 亿规模,通过双方协作完成训练流程,为自然语言处理研究和应用提供了新的基础模型选择。

2022年1月27日周四
  1. OpenAI:官网动态84

    OpenAI 发布 InstructGPT 并设为 API 默认语言模型

    OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型,同时更真实、毒性更低。模型采用人在回路的对齐研究技术训练,现已作为 OpenAI API 的默认语言模型部署。

    推荐理由:原文说明了对齐训练带来的意图遵循与真实性改进,以及 InstructGPT 成为 API 默认模型这一关键落地变化。

2021年10月29日周五
2021年1月5日周二
  1. OpenAI:官网动态81

    OpenAI 发布 CLIP:连接文本与图像的神经网络

    OpenAI 推出神经网络 CLIP,能通过自然语言监督高效学习视觉概念。只需提供待识别视觉类别的名称,CLIP 即可应用于任何视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。

    推荐理由:原文说明 CLIP 用自然语言监督学习视觉概念并可零样本套用于分类基准,读者可了解其与 GPT 系列零样本思路的关联。

2020年12月5日周六
2020年6月17日周三