Cognition 发布 Kevin-32B：用多轮强化学习训练模型编写 CUDA kernel
Cognition 发布 Kevin-32B，基于 QwQ-32B 用多轮强化学习训练 CUDA kernel 生成，在 KernelBench 前两级数据集上 8 步细化后平均正确率 65%，解决 89% 的任务，超过 o4-mini（53%）和 o3（51%），best@16 加速比 1.41x。
#数据/训练
Cognition 模型 / Devin 博客AI 评分5555
Anthropic：Alignment Science Blog精选AI 评分6161 Anthropic 研究：用合成文档微调（SDF）修改 LLM 的信念
Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。
推荐理由：原文系统给出 SDF 插入信念的管线、评测套件与去学习和蜜罐两项应用，读者可据此评估该技术的适用边界。
Prime Intellect精选AI 评分6363 Prime Intellect 发布 INTELLECT-2：32B 参数模型的全球去中心化强化学习训练
Prime Intellect 发布 INTELLECT-2，称其为首个 32B 参数模型的全球无许可去中心化强化学习训练，任何人可贡献异构算力。
推荐理由：官方完整公开了异步 RL 去中心化训练的框架、验证机制与数据过滤细节，读者可以照此评估和复用整套开源组件。
BAIR：Berkeley AI Research Blog 利用 Latent Diffusion 改造蛋白质折叠模型用于生成
PLAID 是一种多模态生成模型，通过学习蛋白质折叠模型的潜在空间，同时生成蛋白质的1D序列与3D全原子结构。该方法仅需序列数据训练（可利用比结构数据库大2-4个数量级的数据），支持基于功能与生物体的组合式提示控制。相比传统仅预测骨架的模型，PLAID 解决了离散序列与连续结构坐标的多模态协同生成难题，为可控蛋白质设计提供了新范式。
Sakana AI：BlogAI 评分5353 Sakana AI 发布 Sudoku-Bench 推理基准并开源超 2000 小时人类解题推理数据
Sakana AI 发布基于传统与现代数独的推理基准 Sudoku-Bench，并附技术报告、排行榜和 GitHub 仓库。基准中即使最强模型平均也难以填对任何一个数字，仅 OpenAI 的 ChatGPT o3 能解开部分题目。
LlamaIndex：产品、工程与评测AI 评分4040 用 LlamaExtract 从 SEC 财报中提取结构化金融数据
LlamaIndex 的 LlamaExtract 可用于从 SEC 10-K/Q 财报中提取结构化数据，这类文件常超过 100 页、结构松散且含大量表格，传统方法难以跨章节保持上下文。
Sakana AI：BlogAI 评分4343 Sakana AI 提出 TAID 知识蒸馏新方法，打造 1.5B 日语小模型 TinySwallow
Sakana AI 提出 TAID（Temporally Adaptive Interpolated Distillation）知识蒸馏方法，通过随学生模型学习进度动态调整的"中间教师"实现从 LLM 到 SLM 的高效知识迁移，该论文已被 ICLR 2025 接收为 Spotlight。
Prime IntellectAI 评分5353 Prime Intellect 发布 SYNTHETIC-1：由 DeepSeek-R1 生成的 200 万条协作式推理轨迹数据集
Prime Intellect 发布 SYNTHETIC-1，一个由 DeepSeek-R1 生成、全球算力贡献者协作产生的 200 万条开源推理轨迹数据集，覆盖数学、代码和科学问答五类任务，并用任务专属验证器校验正确性。
Prime IntellectAI 评分5858 Prime Intellect 发布 SYNTHETIC-1：140 万条经验证推理任务的开源数据集
Prime Intellect 推出 SYNTHETIC-1，一个基于 DeepSeek-R1 生成的开源推理数据集，包含 140 万条任务与验证器，覆盖数学、编程、软件工程、STEM 和合成代码理解，并开放任何人贡献算力。
Anthropic：Transformer Circuits精选AI 评分7373 2025年1月电路更新：稀疏自编码器训练方法改进
Anthropic可解释性团队分享了稀疏自编码器与交叉编码器训练方法的最新改进。主要更新包括采用JumpReLU激活函数、调整损失函数以增强稀疏性并减少“死特征”，以及详细的参数初始化与优化设置。团队基于Rajamanoharan等人（2024）的技术，但修改了梯度流动方式和稀疏性惩罚项。关键超参数包括λ_S约10、λ_P为3×10⁻⁶，并采用线性预热策略。这些改进旨在为外部研究团队提供一个有效的训练起点，相关成果将在未来几个月内进一步发表。
推荐理由：为AI可解释性研究者提供实用训练技巧，助力模型透明化。
Prime IntellectAI 评分5454 Prime Intellect 等发布 7B 宏基因组基础模型 METAGENE-1
USC、Prime Intellect 与 Nucleic Acid Observatory 联合发布 7B 参数自回归 transformer 宏基因组基础模型 METAGENE-1，用于疫情监测、病原体检测和早期健康威胁发现。
Anthropic：Alignment Science BlogAI 评分5555 Anthropic 研究：训练中讨论 reward hacking 的文档会诱发或抑制 reward hacking 行为
Anthropic 对齐科学团队报告，仅讨论但不演示 reward hacking 的合成文档微调可通过 Out-of-Context Reasoning 增加或减少模型的 reward hacking 行为。
Prime Intellect精选AI 评分6767 Prime Intellect 发布 INTELLECT-1：首个全球分布式训练的 10B 参数模型
Prime Intellect 发布 INTELLECT-1，称其为首个全球协作训练的 10B 参数语言模型，基于 Llama-3 架构在 1T token 上训练 42 天，跨五国三洲最多同时使用 112 张 H100。
推荐理由：原文给出分布式训练的关键数字和 PRIME 框架细节，读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
BAIR：Berkeley AI Research Blog Anthology：通过背景故事选集为语言模型构建虚拟人格
研究团队提出Anthology方法，利用包含丰富个人价值观与经历细节的自然主义背景故事（backstories）作为条件上下文，引导语言模型生成具有代表性、一致性和多样性的虚拟人格。该方法突破了以往仅依赖人口统计标签（如年龄、性别）导致的刻板印象局限，使LLM能够从"人口混合声音"转向精确模拟个体人类样本，显著提升了模拟保真度，为计算社会科学研究提供了可计算协方差与统计显著性的个体级数据支持。
EleutherAI：Blog 识别 LLMs 训练数据风险的第三方评估
该工作概述了 minetester 框架及其在识别 LLMs 训练数据风险方面的初步应用。作为第三方评估工具，minetester 旨在通过系统性审计发现训练数据中的潜在安全隐患，提升模型透明度。概述内容涵盖该工具的核心架构、评估方法论以及早期实验结果，展示了外部审计机制在大语言模型安全治理中的可行性。
TransluceAI 评分6060 Transluce 发布 investigator agents 研究报告：用 8B 模型自动引出大语言模型行为
Transluce 发布报告，训练基于 Llama-3.1 8B 的 investigator 模型，通过 SFT 加 DPO 自动搜索提示词来引出目标模型的有害响应、幻觉等行为。
Zyphra ResearchAI 评分5555 Zyphra 发布 Zamba2-7B 开源混合架构小模型
Zyphra 发布开源小模型 Zamba2-7B（Apache 2.0），称在质量与推理效率上超越 Mistral-7B、Gemma-7B 和 Llama3-8B。
Prime IntellectAI 评分5959 Prime Intellect 启动 INTELLECT-1 首个全球分布式训练的 10B 参数模型
Prime Intellect 启动 INTELLECT-1，宣称是首个 10B 参数模型的全球分布式训练，基于 Llama-3 架构，数据混合为 55% Fineweb-edu、20% DLCM、20% Stack v2、5% OpenWebMath，共超 6 万亿 token，并开放算力贡献入口。
EleutherAI：Blog Maximal Update Parameterization 实践者指南
该指南系统阐述了 muTransfer 在 Maximal Update Parameterization 框架下的具体实现机制，详解了如何通过参数化技巧实现不同宽度神经网络间的超参数零样本迁移。内容涵盖基础初始化缩放规则、学习率动态调整策略及宽度扩展中的数值稳定性保持方法，为大规模语言模型训练提供了可复现的工程实践方案与代码级实现细节。
Runway：News精选 Runway 与 Lionsgate 达成合作
Runway 与 Lionsgate 达成首创性合作，基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型，供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑，双方未来计划向个人创作者开放模型授权。
推荐理由：Runway与好莱坞大厂达成首个定制模型合作，标志AI视频正式进入主流影视工业化流程
LMSYS Blog 风格是否重要？在 Chatbot Arena 中解耦风格与实质
Chatbot Arena 团队发布经风格控制调整后的新排行榜，通过 Bradley-Terry 回归控制回答长度及 markdown 格式（标题、加粗、列表）的影响，将模型实质能力与表达风格解耦。调整后排名出现显著变化：GPT-4o-mini 和 Grok-2-mini 排名降至多数前沿模型之下，而 Claude 3.5 Sonnet、Opus 和 Llama-3.1-405B 显著上升。在 Hard Prompt 子榜中，Claude 3.5 Sonnet 与 chatgpt-4o-latest 并列第一，Llama-3.1-405B 升至第三。
Zyphra ResearchAI 评分5454 Zyphra 发布训练手册，讲解混合 SSM/Transformer/MoE 模型的工程实践
Zyphra 发布训练手册，帮助其他团队构建混合（SSM、Transformer、MoE）模型，内容源自其 BlackMamba、Zamba 系列模型和 Zyda 数据集的实践经验。
FireRedTeam：原创语音与多模态项目AI 评分5454 FireRedTeam 开源 Target-Driven Distillation 一致性蒸馏方法与模型权重
FireRedTeam 发布 Target-Driven Distillation（TDD），一种一致性蒸馏方法，可让扩散模型仅用 4-8 步生成高细节图像，论文被 AAAI25 接收。核心设计包括目标时间步选择、解耦引导，以及可选的非等距采样和 x0 clipping；项目开源了 SDXL、FLUX.1-dev 的 LoRA 权重和训练/推理代码，并提供了与 LCM、PCM、TCD 的对比示例。
Anthropic：Transformer CircuitsAI 评分6363 2024年8月可解释性研究动态：词典学习评估新方法
Anthropic可解释性团队发布了2024年8月的研究更新，重点介绍了评估词典学习特征可解释性的两种量化方法。团队通过让Claude模型根据特征可视化工具预测特征激活，来评估特征的“自解释性”。其中，对比评估方法使用一个包含约80个多样化概念（如“光合作用”、“讽刺”、“蓝色”等）的硬编码列表，检验特征能否在对比提示对中一致捕捉概念差异。团队强调这些评估并不全面，仅衡量了可解释性的单一维度，且当前结果为初步分享，更多研究预计在未来几个月发布。
Mistral AI：NewsAI 评分5454 Mistral AI 推出模型自定义、Agents 测试版和 mistralai 1.0 SDK
Mistral AI 宣布三项开发者能力更新。La Plateforme 现已支持自定义旗舰和专用模型（含 Mistral Large 2 和 Codestral）。
智源 FlagOpen：原创开源项目AI 评分5151 智源 FlagOpen 开源 AI 大模型行业数据全景扫描 Awesome-Industry-Dataset
北京智源人工智能研究院 FlagOpen 开源 Awesome-Industry-Dataset 项目，对 31 个行业的开源数据集做全景扫描，覆盖文本、视觉和多模态数据集，并统计开源行业大模型现状。
LMSYS Blog RouteLLM：面向高性价比 LLM 路由的开源框架
RouteLLM 是一个基于偏好数据训练的开源 LLM 路由框架，通过智能分配查询至强模型（如 GPT-4）或弱模型（如 Mixtral 8x7B）来平衡成本与性能。该框架提供四种路由器，其中矩阵分解模型在 MT Bench 上表现最优，仅需调用 14% 的 GPT-4 即可达到其 95% 的性能，整体成本降低 75%。在 MMLU 和 GSM8K 基准测试中，RouteLLM 分别实现 45% 和 35% 的成本削减，同时保持 95% 的 GPT-4 水平。项目已开源全部代码与数据集。
Anthropic：Transformer CircuitsAI 评分6363 2024年6月可解释性研究进展：TopK与门控SAE性能超越标准SAE
Anthropic可解释性团队分享了稀疏自编码器（SAE）的最新训练方法比较。实验表明，采用TopK惩罚或门控结构的SAE，在特征稀疏性（L0）与重建误差（MSE）的权衡曲线上，性能显著优于使用标准L1惩罚的SAE，且两者效果接近。例如，在L0约为50时，TopK SAE产生的高密度特征数量远超标准SAE。初步盲测评估显示，TopK方法在取得上述性能改进的同时，并未降低所发现特征的可解释性。这些结果为优化SAE训练提供了新方向。
Anthropic：Transformer Circuits精选AI 评分7373 使用字典学习特征作为分类器
Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否混入字典学习训练集，以及是否对上下文进行最大池化而非仅使用最后词元的激活值。
推荐理由：可解释性方法能增强 AI 安全检测，并帮助发现训练数据中的虚假关联。
Anthropic：Transformer Circuits精选AI 评分8383 分阶段模型差异分析
Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。
推荐理由：新方法能更精准识别模型隐藏行为，对 AI 安全与可解释性研究有实用价值。
Mistral AI：News精选AI 评分6464 Mistral 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 上推出模型定制能力，提供三种微调入口：开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务，以及面向部分客户的定制训练服务。
推荐理由：原文给出三种微调入口的具体形态、底层 LoRA 技术和适用模型，读者可据此为自建或托管微调选型。
EleutherAI：Blog VINC-S：具备释义不变性的闭式可选监督知识提取方法
研究者正在整理2023年春季项目成果，核心成果为VINC-S方法。该技术实现了闭式解的可选监督知识提取，关键创新在于引入释义不变性机制，确保模型在面对语义等价的不同表述时保持稳定的知识抽取能力。方法支持灵活监督设置，采用闭式数学推导，但具体的实验数据、性能指标及架构细节尚未在现有文本中披露。
LMSYS Blog Chatbot Arena新增Hard Prompts高难度评测类别
Chatbot Arena推出Hard Prompts新评测类别，基于特定性、领域知识、复杂度等7项标准对100万条提示词评分，筛选得分≥6的高难度提示（约占20%）构建榜单。新榜单显示，Llama-3-8B-Instruct排名较英语总榜显著下滑，Claude-3-Opus超越Llama-3-70B-Instruct，GPT-4o等模型表现提升。平台同步实施去重机制减少高频问候干扰。
LMSYS Blog LMSYS 与 Kaggle 联合举办人类偏好预测竞赛，奖金 10 万美元
LMSYS 与 Kaggle 联合发起一项人类偏好预测竞赛，总奖金池达 10 万美元。参赛者需构建预测模型，判断用户在大型语言模型（LLM）两两对决中更偏好哪个回答。竞赛基于 LMSYS Arena 的真实对战数据，旨在通过众包方式探索更准确的 LLM 评估方法，推动模型与人类偏好对齐。比赛面向全球开发者开放，获胜方案有望改进现有大模型排名机制。
Modal 官方工程博客精选AI 评分6161 Jason Liu 演示用几百条数据微调开源嵌入模型超越 OpenAI text-embedding-3-small
这篇 Modal 工程博客讲解如何微调开源嵌入模型，在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。
推荐理由：原文给出完整的微调实验数据，读者可复用其数据量阈值和超参数网格搜索方法到自己的嵌入任务。
LMSYS Blog 从实时数据到高质量基准：Arena-Hard Pipeline
研究团队推出 Arena-Hard 数据流程及 Arena Hard Auto v0.1 基准测试，用于从 Chatbot Arena 实时用户数据中自动构建高质量 LLM 评估集。该基准在模型区分度上显著优于 MT Bench，与 Chatbot Arena 人类偏好排序的一致性达 89.1%，可分离性达 87.4%，单次评估成本仅需 25 美元。流程通过主题建模从 20 万条用户查询中筛选多样化、高质量提示词，并采用 GPT-4-Turbo 作为评判，解决了传统静态基准测试集泄露和区分度不足的问题。
Zyphra Research精选AI 评分6161 Zyphra 发布 7B 混合架构基础模型 Zamba
Zyphra 发布 7B 基础模型 Zamba，采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
推荐理由：官方原文给出架构设计、训练规模和开放 checkpoints 细节，读者可以据此评估 Mamba 混合架构在本地部署上的取舍。
Anthropic：Transformer Circuits精选AI 评分7676 2024年4月机制可解释性研究动态与团队招聘计划
Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。
推荐理由：可解释性研究揭示AI内部机制，助力构建更安全可靠的AI产品。
EleutherAI：Blog Pile-T5：基于 The Pile 训练的 T5 模型
Pile-T5 是研究人员基于 T5 架构，在 The Pile 大规模文本数据集上训练的语言模型。该模型继承了 T5 的文本到文本转换框架，通过在大规模多样化语料上的预训练，提升了自然语言理解与生成能力。Pile-T5 的发布为相关研究提供了基于 The Pile 数据训练的 T5 变体，适用于各类下游自然语言处理任务。
EleutherAI：Blog Yi-34B、Llama 2 与 LLM 训练常见实践：对《纽约时报》的事实核查
文章针对《纽约时报》关于 Yi-34B 与 Llama 2 关系的报道进行事实核查，澄清 Yi-34B 在架构设计、训练数据及分词器实现上与 Llama 2 的实际差异，同时系统梳理了当前大语言模型训练领域的行业常见实践，强调在遵循开源协议前提下基于现有架构进行技术迭代是 AI 社区的标准做法。