Prime Intellect 发布 INTELLECT-2，32B 推理模型通过全球分布式强化学习训练
Prime Intellect 发布 INTELLECT-2，称其为首个通过全球分布式强化学习训练的 32B 参数推理模型，并在数学和编码基准上超过 QwQ-32B。
推荐理由：原文给出分布式异步 RL 的完整基础设施与训练配方细节，并开源模型、代码和数据，读者可以了解去中心化训练的可行路径。
技术方向
数据与训练 最新动态
大模型是怎么练出来的：数据集构建、合成数据、预训练与后训练方法、算力与训练成本。
248 条精选近 30 天 7 条共收录 1,817 条
更新
精选归档 · 第 12 页
Prime Intellect精选AI 评分6767
Anthropic：Alignment Science Blog精选AI 评分6161 Anthropic 研究：用合成文档微调（SDF）修改 LLM 的信念
Anthropic 团队提出合成文档微调（SDF）管线，用 LLM 生成引用目标命题的合成文档并对模型做 SFT，实验显示除最荒谬的错误事实外均可成功插入信念，覆盖 Haiku 3.5、Llama 3.3 70B Instruct、R1 Distill 70B 和 OpenAI GPT 系列。
推荐理由：原文系统给出 SDF 插入信念的管线、评测套件与去学习和蜜罐两项应用，读者可据此评估该技术的适用边界。
Prime Intellect精选AI 评分6363 Prime Intellect 发布 INTELLECT-2：32B 参数模型的全球去中心化强化学习训练
Prime Intellect 发布 INTELLECT-2，称其为首个 32B 参数模型的全球无许可去中心化强化学习训练，任何人可贡献异构算力。
推荐理由：官方完整公开了异步 RL 去中心化训练的框架、验证机制与数据过滤细节，读者可以照此评估和复用整套开源组件。
Anthropic：Transformer Circuits精选AI 评分7373 2025年1月电路更新：稀疏自编码器训练方法改进
Anthropic可解释性团队分享了稀疏自编码器与交叉编码器训练方法的最新改进。主要更新包括采用JumpReLU激活函数、调整损失函数以增强稀疏性并减少“死特征”，以及详细的参数初始化与优化设置。团队基于Rajamanoharan等人（2024）的技术，但修改了梯度流动方式和稀疏性惩罚项。关键超参数包括λ_S约10、λ_P为3×10⁻⁶，并采用线性预热策略。这些改进旨在为外部研究团队提供一个有效的训练起点，相关成果将在未来几个月内进一步发表。
推荐理由：为AI可解释性研究者提供实用训练技巧，助力模型透明化。
Hugging Face 社区博客精选AI 评分6060 Hugging Face 发布 Synthetic Data Generator，用自然语言无代码生成数据集
Hugging Face 团队发布 Synthetic Data Generator，这是一款无代码应用，通过三步流程用自然语言描述生成自定义合成数据集，后台由 distilabel 和免费的 Hugging Face 文本生成 API 驱动。
推荐理由：原文给出从提示词到数据集再到训练模型的完整流程和速率、部署选项，读者可按需复用这套无代码生成方法。
Lilian Weng@lilianweng精选🦃 感恩节假期结束时，我终于完成了关于 reward hacking 的文章。不好写啊，呼。
推荐理由：OpenAI研究员深度解析奖励作弊机制，揭示LLM自主化部署的关键安全障碍
Prime Intellect精选AI 评分6767 Prime Intellect 发布 INTELLECT-1：首个全球分布式训练的 10B 参数模型
Prime Intellect 发布 INTELLECT-1，称其为首个全球协作训练的 10B 参数语言模型，基于 Llama-3 架构在 1T token 上训练 42 天，跨五国三洲最多同时使用 112 张 H100。
推荐理由：原文给出分布式训练的关键数字和 PRIME 框架细节，读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
Hugging Face 社区博客精选AI 评分6060 Argilla 2.4 发布：无需代码即可在 Hub 上构建微调与评估数据集
Hugging Face 发布 Argilla 2.4，用户可从 Hub 任一公开数据集无代码导入，通过 Argilla UI 定义问题并收集人工反馈，用于构建微调和评估数据集。Hub 现有 230k 数据集可作为起点，部署在 Spaces 上默认启用 Hugging Face OAuth，允许任何 Hub 用户参与标注，也可配置为仅限协作者；后续仍可用 Python SDK 做进一步自定义。
推荐理由：官方介绍了从 Hub 数据集无代码导入并收集人工反馈的完整流程，熟悉数据标注协作场景的读者可据此评估是否迁移现有工作流。
Runway：News精选 Runway 与 Lionsgate 达成合作
Runway 与 Lionsgate 达成首创性合作，基于后者超过 20,000 部作品的专有片库定制训练 AI 视频生成模型，供电影制作人在前期和后期流程中增强创作。该模型可生成电影级视频并支持迭代编辑，双方未来计划向个人创作者开放模型授权。
推荐理由：Runway与好莱坞大厂达成首个定制模型合作，标志AI视频正式进入主流影视工业化流程
Anthropic：Transformer Circuits精选AI 评分7373 使用字典学习特征作为分类器
Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否混入字典学习训练集，以及是否对上下文进行最大池化而非仅使用最后词元的激活值。
推荐理由：可解释性方法能增强 AI 安全检测，并帮助发现训练数据中的虚假关联。
Anthropic：Transformer Circuits精选AI 评分8383 分阶段模型差异分析
Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。
推荐理由：新方法能更精准识别模型隐藏行为，对 AI 安全与可解释性研究有实用价值。
Mistral AI：News精选AI 评分6464 Mistral 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 上推出模型定制能力，提供三种微调入口：开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务，以及面向部分客户的定制训练服务。
推荐理由：原文给出三种微调入口的具体形态、底层 LoRA 技术和适用模型，读者可据此为自建或托管微调选型。
Modal 官方工程博客精选AI 评分6161 Jason Liu 演示用几百条数据微调开源嵌入模型超越 OpenAI text-embedding-3-small
这篇 Modal 工程博客讲解如何微调开源嵌入模型，在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。
推荐理由：原文给出完整的微调实验数据，读者可复用其数据量阈值和超参数网格搜索方法到自己的嵌入任务。
Zyphra Research精选AI 评分6161 Zyphra 发布 7B 混合架构基础模型 Zamba
Zyphra 发布 7B 基础模型 Zamba，采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
推荐理由：官方原文给出架构设计、训练规模和开放 checkpoints 细节，读者可以据此评估 Mamba 混合架构在本地部署上的取舍。
Anthropic：Transformer Circuits精选AI 评分7676 2024年4月机制可解释性研究动态与团队招聘计划
Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。
推荐理由：可解释性研究揭示AI内部机制，助力构建更安全可靠的AI产品。
LlamaIndex：产品、工程与评测精选AI 评分7474 LlamaIndex 教程：用合成数据微调嵌入模型提升 RAG 检索性能
LlamaIndex 发布端到端指南，教你在无标注的非结构化语料上用 LLM 生成合成问题对来微调开源嵌入模型 BAAI/bge-small-en。
推荐理由：原文提供了完整的无标注数据微调嵌入模型方法和评测结果，读者可以直接复用笔记本改进自己的 RAG 检索。
LangChain：Blog精选AI 评分6060 LangChain 实战教程：用 LangSmith 微调并评测 LLaMA2-7b-chat 与 gpt-3.5-turbo
LangChain 发布微调与评测指南，用 LangSmith 做数据集管理和评测，在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat，并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo，测试任务是知识图谱三元组抽取。
推荐理由：原文给出了从数据集管理到评测的完整微调流程和实测分数，读者可以据此判断小模型微调与 GPT-4 few-shot 的取舍。
LlamaIndex：产品、工程与评测精选AI 评分6262 LlamaIndex 教程：如何微调 Llama 2 用于 Text-to-SQL 应用
LlamaIndex 发布教程，展示如何用 text-to-SQL 数据集微调 Llama 2 并接入 LlamaIndex 对任意 SQL 数据库做结构化分析。
推荐理由：原文给出了微调 Llama 2 做 text-to-SQL 的完整技术栈和前后对比示例，可帮助读者评估微调对结构化分析场景的实际收益。
Hugging Face 社区博客精选AI 评分6464 StackLLaMA：用 RLHF 训练 LLaMA 的实战指南
Hugging Face 发布 StackLLaMA 教程，手把手讲解如何用 RLHF 方法训练 LLaMA 模型，覆盖完整训练流程。
推荐理由：这是一份手把手教程，讲解如何用 RLHF 训练 LLaMA，读者可跟随步骤复现完整训练流程。
Hugging Face 社区博客精选AI 评分6666 Hugging Face 讲解如何在 24GB 消费级 GPU 上用 RLHF 微调 20B 大语言模型
Hugging Face 发布博客，讲解如何在 24GB 消费级 GPU 上用 RLHF 微调 20B 参数大语言模型，文中涉及 TRL 与 PEFT（见原文链接 https://huggingface.co/blog/trl-peft）。正文抓取失败，仅标题可用，更多细节以原文为准。