FireRedTeam 开源 LayerDiffuse 的 Flux 版实现
FireRedTeam 在 GitHub 发布 LayerDiffuse 的 Flux 版实现(LayerDiffuse-Flux),训练了适配 Flux 的透明 VAE 和 LoRA 微调,用于生成透明图像。
FireRedTeam 在 GitHub 发布 LayerDiffuse 的 Flux 版实现(LayerDiffuse-Flux),训练了适配 Flux 的透明 VAE 和 LoRA 微调,用于生成透明图像。
OpenRouter 宣布为 Llama 3.3 70b 降价,同时提供该模型的六个版本及对应提供商。
OpenRouter 宣布对 Llama 3.3 70b 进行价格下调,同时新增六个模型及相应供应商。此次调整扩大了 Llama 3.3 70b 的可选提供商范围,并降低了调用成本。
ARC Prize 官方公布 2024 年获奖者并发布技术报告,共 1,430 支队伍提交 17,789 个方案,ARC-AGI-1 SOTA 从 33% 升至 55.5%,但 100 万美元大奖无人认领。
推荐理由:官方技术报告给出完整获奖方案与三类新方法总结,读者可以据此了解 ARC-AGI 分数提升背后的具体技术路线。
Prime Intellect 发布 INTELLECT-1,称其为首个全球协作训练的 10B 参数语言模型,基于 Llama-3 架构在 1T token 上训练 42 天,跨五国三洲最多同时使用 112 张 H100。
推荐理由:原文给出分布式训练的关键数字和 PRIME 框架细节,读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
Mistral AI 发布基于 Mistral Large 2 的 124B 开源权重多模态模型 Pixtral Large,在 MathVista 达到 69.4%,在 ChartQA、DocVQA 上超过 GPT-4o 和 Gemini-1.5 Pro。
推荐理由:官方发布了多模态模型的基准成绩与开放下载渠道,也说明了许可证类型,适合想对比前沿多模态能力或自部署的读者参考。
ARC Prize 团队于 2024 年 10 月 24 日举办线上活动,说明为何单靠深度学习难以攻克 ARC-AGI,并提出结合深度学习与程序合成的技术路线。
推荐理由:Chollet 和 Knoop 系统论述 LLM 局限于记忆技能、需结合程序合成才能胜出 ARC-AGI 的技术路径,为理解智能与抽象层次提供了可迁移的分析框架。
Zyphra 发布开源小模型 Zamba2-7B(Apache 2.0),称在质量与推理效率上超越 Mistral-7B、Gemma-7B 和 Llama3-8B。
Prime Intellect 启动 INTELLECT-1,宣称是首个 10B 参数模型的全球分布式训练,基于 Llama-3 架构,数据混合为 55% Fineweb-edu、20% DLCM、20% Stack v2、5% OpenWebMath,共超 6 万亿 token,并开放算力贡献入口。
ARC Prize 公布 2024 赛事 3 个月进展,Grand Prize 从 $500k 提高到 $600k,Paper Awards 从 $50k 提高到 $75k,SOTA 从 34% 升至 46%。
Mistral 发布开源多模态模型 Pixtral 12B,以 Apache 2.0 许可提供,可作为 Mistral Nemo 12B 的直接替换。
推荐理由:官方发布开源多模态模型,给出了架构细节、MMMU 分数和统一评测对比,可作为同规模开源模型选型的参考。
Mistral 发布 Mistral Small v24.09(220 亿参数,MRL 许可),并在 la Plateforme 推出免费层,全系列模型降价,Mistral Small 和 Codestral 输入价格降幅达 80%。Pixtral 12B 现已在 le Chat 上免费提供视觉能力,该模型基于 Apache 2.0 许可,支持任意尺寸图像且不损失文本性能。
推荐理由:官方一次列出免费层、全系列降价、Mistral Small v24.09 和 Pixtral 12B 视觉能力,适合对照选型和部署成本。
RedTeam Arena 是一个开源的大语言模型红队测试平台,由 LMSYS 与 Pliny 及 BASI 社区联合推出。平台首发游戏 Bad Words 已吸引数千用户参与,玩家需诱导模型说出特定敏感词汇。团队提出新型统计方法 Extended Elo,通过逻辑回归分别计算玩家、模型和提示词的独立评分,相比传统 Elo 算法实现样本量的二次方级节省。所有代码已开源,数据将在短期延迟后向公众开放。
FireRedTeam 发布 StoryMaker,一个个性化文生图方案,在多角色场景中不仅保持人脸一致性,还保持服装、发型和身体的一致,可用一系列图像构建故事。模型权重于 2024/09/02 发布,随后放出技术报告和训练代码,权重可从 Huggingface 下载(RED-AIGC/StoryMaker),基于 SDXL pipeline,使用时需手动下载 buffalo_l 人脸编码器。
Zyphra 发布训练手册,帮助其他团队构建混合(SSM、Transformer、MoE)模型,内容源自其 BlackMamba、Zamba 系列模型和 Zyda 数据集的实践经验。
Zyphra 发布开源(Apache 2.0)端侧小模型 Zamba2-small(2.7B),称在相近规模模型中达到 SOTA 评测表现。该模型采用 Mamba2 与两个共享注意力块混合的架构,并在共享 MLP 上加 LoRA 投影;相比 Phi3-3.8B 实现约 2 倍首 token 速度、27% 内存开销降低和 1.29 倍生成延迟降低。
LMSYS.org 推出 SGLang Runtime v0.2,一个纯 Python 开发的开源 LLM 推理引擎。在覆盖 Llama-8B 至 405B 的基准测试中,该系统在 A100 和 H100 GPU 上展现出优于 vLLM 最高 3.1 倍的离线吞吐量(Llama-70B 场景),并与 TensorRT-LLM 性能相当。SGLang 支持 FP8/FP16 精度,核心调度器仅约 4000 行代码,已在 Chatbot Arena 等平台累计生成数万亿 token。
Mistral 发布 Mistral Large 2(版本 24.07,API 名 mistral-large-2407),123B 参数、128k 上下文窗口,支持数十种语言和 80 多种编程语言。
推荐理由:官方给出参数量、许可证、基准表现与开放渠道,读者可以据此评估该模型在性能成本和多语言场景中的位置。
北京智源人工智能研究院 FlagOpen 开源 Awesome-Industry-Dataset 项目,对 31 个行业的开源数据集做全景扫描,覆盖文本、视觉和多模态数据集,并统计开源行业大模型现状。
Mistral 发布 Mamba 架构代码模型 Codestral Mamba,采用线性时间推理,可免费使用、修改和分发。模型具备高级代码与推理能力,性能与 SOTA Transformer 模型相当,已测试最高 256k tokens 的上下文检索能力,共 7,285,403,648 参数。
推荐理由:官方说明了 Mamba 架构在线性推理时长和长序列上的优势,以及 256k 测试、部署渠道和许可证差异,可据此判断适用场景。
通义 FunAudioLLM 团队开源基于 LLM 的 TTS 系统 Fun-CosyVoice 3.0,官方称在内容一致性、说话人相似度和韵律自然度上超越前代 CosyVoice 2.0,面向零样本多语言语音合成。
推荐理由:官方发布开源 TTS 新版本,附评测表、安装与部署方式,适合关注多语言语音合成落地的开发者参考。
SenseVoice 是一个语音理解基础模型,支持 ASR、语种识别、语音情感识别和音频事件检测。发布的 SenseVoiceSmall 检查点支持普通话、粤语、英语、日语和韩语,并输出情感与事件标签;采用非自回归端到端架构,同参数量级下推理速度比 Whisper-Small 快 5 倍以上、比 Whisper-Large 快 15 倍以上。
推荐理由:官方仓库文档同时给出基准对比、部署路径和微调方案,读者可以据此评估 SenseVoice 在中英文语音识别场景的可用性。
LlamaIndex 宣布开源框架 llama-agents 的 alpha 版发布,用于构建和部署生产级多智能体 AI 系统,可将每个 agent 变成独立运行的微服务。
推荐理由:官方发布开源多智能体框架 alpha 版,介绍了微服务架构、编排方式、监控工具和从本地到生产部署的具体用法。
ARC Prize 官方宣布启动一项总奖池超过 $1,000,000 的竞赛,目标是击败 ARC-AGI 评测并开源解决方案,由 Mike Knoop 和 François Chollet 主办。ARC-AGI 于 2019 年推出,当前 SOTA 仅约 34%,对人类容易但现代 AI 极难。官方认为 LLM 依赖记忆而非真正推理,希望通过激励开源研究提升新想法的产生速度。
推荐理由:官方说明了设奖动机和 ARC-AGI 为何未被刷分,读者可以了解百万美元奖金背后的开源 AGI 主张。
Mistral AI 在 la Plateforme 上推出模型定制能力,提供三种微调入口:开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务,以及面向部分客户的定制训练服务。
推荐理由:原文给出三种微调入口的具体形态、底层 LoRA 技术和适用模型,读者可据此为自建或托管微调选型。
Mistral AI 发布非生产许可证 MNPL,允许开发者将模型用于非商业用途和支持研究工作,商用需另行公平合作,Codestral 即日以该许可证发布。Mistral 表示将继续以 Apache 2.0 发布模型和代码,逐步形成两个许可证家族并存的产品体系。
推荐理由:原文由 Mistral 阐明新许可证的动机与适用范围,读者可以据此理解其开源策略与商业模式之间的划分方式。
Mistral 发布其首个代码生成模型 Codestral,为 22B 开放权重模型,训练覆盖 80+ 编程语言,采用 32k 上下文窗口,并支持 Fill-in-the-middle 补全。
推荐理由:官方发布首次给出模型规模、语言覆盖和专用端点细则,读者可据此评估是否将其接入现有编码工作流。
英国 AI Safety Institute 发布第四份进展报告,公布首次模型评测技术博客、开源评测平台 Inspect,并宣布在旧金山设立办公室、与加拿大 AI Safety Institute 达成新合作。
Meta 于 4 月 18 日发布的开源模型 Llama 3-70B 在 Chatbot Arena 排行榜迅速登顶,参与超 5 万次对战。该模型在开放式写作和创意任务上表现突出,胜率达 60%,但在数学、编码等封闭式技术任务上逊于 GPT-4-Turbo 和 Claude 3 Opus。随着提示难度增加,其胜率从 50% 显著下降至 40%。分析显示,Llama 3 的输出风格更友好且具对话性,这成为其获得用户偏好的关键因素。
Zyphra 发布 7B 基础模型 Zamba,采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
推荐理由:官方原文给出架构设计、训练规模和开放 checkpoints 细节,读者可以据此评估 Mamba 混合架构在本地部署上的取舍。
Pile-T5 是研究人员基于 T5 架构,在 The Pile 大规模文本数据集上训练的语言模型。该模型继承了 T5 的文本到文本转换框架,通过在大规模多样化语料上的预训练,提升了自然语言理解与生成能力。Pile-T5 的发布为相关研究提供了基于 The Pile 数据训练的 T5 变体,适用于各类下游自然语言处理任务。
文章针对《纽约时报》关于 Yi-34B 与 Llama 2 关系的报道进行事实核查,澄清 Yi-34B 在架构设计、训练数据及分词器实现上与 Llama 2 的实际差异,同时系统梳理了当前大语言模型训练领域的行业常见实践,强调在遵循开源协议前提下基于现有架构进行技术迭代是 AI 社区的标准做法。
LMSYS Chatbot Arena是由LMSYS和UC Berkeley SkyLab于2023年5月推出的开源评估平台,基于FastChat框架构建。平台通过实时两两对比已收集超80万张社区投票,评估了GPT-4、Gemini、Llama、Mistral等90余个模型。坚持透明原则,仅收录API或开源权重可访问的公开模型,同时支持未发布模型匿名测试。团队定期开放20%投票数据(含提示词、回答及用户偏好),致力于通过社区驱动的实时评估推进大语言模型研究。
发布全新资源 FM Dev Cheatsheet,这是一份面向 Foundation Model 开发的实用速查表。该资源旨在为开发者提供基础模型开发全流程的关键参考信息,涵盖架构设计、训练优化及部署等环节的核心要点,帮助快速查阅技术规范与最佳实践,提升开发效率与项目质量。
LlamaIndex 发布 v0.10.0,是其 Python 包迄今最大更新。核心变化包括:拆出精简的 llama-index-core 包,数百个集成(150+ 数据加载器。
推荐理由:官方发布说明了包拆分、导入路径变化和迁移工具,正在迁移或维护 LlamaIndex 项目的开发者可以直接对照升级。
Connery 发布开源插件基础设施,为 LLM 应用和 OpenGPTs 提供第三方服务集成能力,并管理运行时。它提供连接管理界面,支持 OAuth 授权、Secrets Management 密钥存储、个性化配置,以及 metadata、human-in-the-loop 和审计日志等 AI 安全控制。该项目还计划构建开源插件生态,让社区创建、分享和定制插件。
RAGArch 是一款基于 LlamaIndex 的无代码 RAG 流水线配置工具,支持在 Streamlit 界面中交互式选择 LLM、嵌入模型、Node Parser、响应合成方法与向量存储,并用自己的数据实时测试效果。
LlamaIndex 发布教程,演示如何用 LlamaIndex 与 Nomic Embed 构建完全开源的 RAG 检索器。
Mistral AI 发布开源权重的稀疏专家模型 Mixtral 8x7B,采用 Apache 2.0 许可证,在多数基准上超过 Llama 2 70B 并以 6 倍推理速度匹配或超过 GPT3.5。
推荐理由:官方发布给出基准对比、参数与成本结构和开源部署方案,读者可以据此评估它在开放权重模型中的位置。
LlamaIndex 发布 AutoTranslateDoc,一款命令行工具,可从 GitHub 仓库抓取 .md 和 .mdx 文档,用 GPT-3.5、GPT-4 分块翻译并自动校验后合并输出。
推荐理由:工具通过分块翻译加多重校验来保证文档翻译质量,并支持差量更新,适合需要维护多语言文档的开发者参考。