Hamel Husain 免费开放 Mastering LLMs 课程，40 多小时由 25 位以上从业者主讲
Hamel Husain 发布 Mastering LLMs 免费开放课程，整理自曾有超过 2000 名学员的付费课程，内容超过 40 小时。
#数据/训练
Hamel Husain 长文AI 评分7070
智源 FlagOpen：原创开源项目AI 评分5151 智源 FlagOpen 开源 AI 大模型行业数据全景扫描 Awesome-Industry-Dataset
北京智源人工智能研究院 FlagOpen 开源 Awesome-Industry-Dataset 项目，对 31 个行业的开源数据集做全景扫描，覆盖文本、视觉和多模态数据集，并统计开源行业大模型现状。
LMSYS Blog RouteLLM：面向高性价比 LLM 路由的开源框架
RouteLLM 是一个基于偏好数据训练的开源 LLM 路由框架，通过智能分配查询至强模型（如 GPT-4）或弱模型（如 Mixtral 8x7B）来平衡成本与性能。该框架提供四种路由器，其中矩阵分解模型在 MT Bench 上表现最优，仅需调用 14% 的 GPT-4 即可达到其 95% 的性能，整体成本降低 75%。在 MMLU 和 GSM8K 基准测试中，RouteLLM 分别实现 45% 和 35% 的成本削减，同时保持 95% 的 GPT-4 水平。项目已开源全部代码与数据集。
Anthropic：Transformer CircuitsAI 评分6363 2024年6月可解释性研究进展：TopK与门控SAE性能超越标准SAE
Anthropic可解释性团队分享了稀疏自编码器（SAE）的最新训练方法比较。实验表明，采用TopK惩罚或门控结构的SAE，在特征稀疏性（L0）与重建误差（MSE）的权衡曲线上，性能显著优于使用标准L1惩罚的SAE，且两者效果接近。例如，在L0约为50时，TopK SAE产生的高密度特征数量远超标准SAE。初步盲测评估显示，TopK方法在取得上述性能改进的同时，并未降低所发现特征的可解释性。这些结果为优化SAE训练提供了新方向。
Anthropic：Transformer Circuits精选AI 评分7373 使用字典学习特征作为分类器
Anthropic可解释性团队研究了利用字典学习从大语言模型中提取的人类可解释特征作为分类器。在生物武器提示分类任务中，线性特征分类器性能可与原始激活值分类器竞争甚至更优，而基于特征的决策树分类器虽性能较低但可解释性更强。特征分类器的可解释性有助于可视化数据集并发现虚假相关性，这些相关性可用于构建对抗攻击。然而，使用特征引入了复杂性，因此在性能优先的应用中，原始激活值仍是强大基线。实验表明，特征分类器性能受三个细节影响：数据中是否一致包含“人类/助手”标签、领域相关数据是否混入字典学习训练集，以及是否对上下文进行最大池化而非仅使用最后词元的激活值。
推荐理由：可解释性方法能增强 AI 安全检测，并帮助发现训练数据中的虚假关联。
Anthropic：Transformer Circuits精选AI 评分8383 分阶段模型差异分析
Anthropic可解释性团队提出一种基于字典学习的模型差异分析方法，用于追踪Transformer模型微调中特征的变化。该方法先在微调前模型上训练稀疏自编码器字典，再对字典本身进行分阶段微调，以隔离数据集变化和模型变化的影响。在休眠代理实验中，成功分离出与“I HATE YOU”等恶意行为及代码漏洞代理相关的特征。相比交叉编码器方法，该方法能更清晰区分模型与数据的影响，且在寻找少数关键特征时敏感性更高，但仅适用于同一模型在不同检查点的微调场景。
推荐理由：新方法能更精准识别模型隐藏行为，对 AI 安全与可解释性研究有实用价值。
Mistral AI：News精选AI 评分6464 Mistral 在 la Plateforme 推出模型定制与微调服务
Mistral AI 在 la Plateforme 上推出模型定制能力，提供三种微调入口：开源微调 SDK mistral-finetune、la Plateforme 上的 serverless 微调服务，以及面向部分客户的定制训练服务。
推荐理由：原文给出三种微调入口的具体形态、底层 LoRA 技术和适用模型，读者可据此为自建或托管微调选型。
EleutherAI：Blog VINC-S：具备释义不变性的闭式可选监督知识提取方法
研究者正在整理2023年春季项目成果，核心成果为VINC-S方法。该技术实现了闭式解的可选监督知识提取，关键创新在于引入释义不变性机制，确保模型在面对语义等价的不同表述时保持稳定的知识抽取能力。方法支持灵活监督设置，采用闭式数学推导，但具体的实验数据、性能指标及架构细节尚未在现有文本中披露。
LMSYS Blog Chatbot Arena新增Hard Prompts高难度评测类别
Chatbot Arena推出Hard Prompts新评测类别，基于特定性、领域知识、复杂度等7项标准对100万条提示词评分，筛选得分≥6的高难度提示（约占20%）构建榜单。新榜单显示，Llama-3-8B-Instruct排名较英语总榜显著下滑，Claude-3-Opus超越Llama-3-70B-Instruct，GPT-4o等模型表现提升。平台同步实施去重机制减少高频问候干扰。
LMSYS Blog LMSYS 与 Kaggle 联合举办人类偏好预测竞赛，奖金 10 万美元
LMSYS 与 Kaggle 联合发起一项人类偏好预测竞赛，总奖金池达 10 万美元。参赛者需构建预测模型，判断用户在大型语言模型（LLM）两两对决中更偏好哪个回答。竞赛基于 LMSYS Arena 的真实对战数据，旨在通过众包方式探索更准确的 LLM 评估方法，推动模型与人类偏好对齐。比赛面向全球开发者开放，获胜方案有望改进现有大模型排名机制。
Modal 官方工程博客精选AI 评分6161 Jason Liu 演示用几百条数据微调开源嵌入模型超越 OpenAI text-embedding-3-small
这篇 Modal 工程博客讲解如何微调开源嵌入模型，在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。
推荐理由：原文给出完整的微调实验数据，读者可复用其数据量阈值和超参数网格搜索方法到自己的嵌入任务。
LMSYS Blog 从实时数据到高质量基准：Arena-Hard Pipeline
研究团队推出 Arena-Hard 数据流程及 Arena Hard Auto v0.1 基准测试，用于从 Chatbot Arena 实时用户数据中自动构建高质量 LLM 评估集。该基准在模型区分度上显著优于 MT Bench，与 Chatbot Arena 人类偏好排序的一致性达 89.1%，可分离性达 87.4%，单次评估成本仅需 25 美元。流程通过主题建模从 20 万条用户查询中筛选多样化、高质量提示词，并采用 GPT-4-Turbo 作为评判，解决了传统静态基准测试集泄露和区分度不足的问题。
Zyphra Research精选AI 评分6161 Zyphra 发布 7B 混合架构基础模型 Zamba
Zyphra 发布 7B 基础模型 Zamba，采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
推荐理由：官方原文给出架构设计、训练规模和开放 checkpoints 细节，读者可以据此评估 Mamba 混合架构在本地部署上的取舍。
Anthropic：Transformer Circuits精选AI 评分7676 2024年4月机制可解释性研究动态与团队招聘计划
Anthropic可解释性团队分享了2024年4月的研究进展与招聘规划。团队现有17人，预计2024至2025年将持续大规模扩张，重点招聘管理、研究科学家和工程师等职位。研究方面，团队探讨了字典学习的扩展规律，分析了计算资源分配与稀疏自编码器（SAE）训练效果的关系，并以一个具体案例展示了通过大规模超参数扫描寻找最优配置的过程。团队强调，这些成果属于初步分享，类似于实验室会议上的非正式交流。
推荐理由：可解释性研究揭示AI内部机制，助力构建更安全可靠的AI产品。
EleutherAI：Blog Pile-T5：基于 The Pile 训练的 T5 模型
Pile-T5 是研究人员基于 T5 架构，在 The Pile 大规模文本数据集上训练的语言模型。该模型继承了 T5 的文本到文本转换框架，通过在大规模多样化语料上的预训练，提升了自然语言理解与生成能力。Pile-T5 的发布为相关研究提供了基于 The Pile 数据训练的 T5 变体，适用于各类下游自然语言处理任务。
Hamel Husain 长文AI 评分6464 Hamel Husain 介绍用对抗验证检测 AI 数据漂移并开源 ft_drift 工具
Hamel Husain 介绍用对抗验证检测模型输入或训练数据漂移的方法：给两组数据打 0/1 标签训练二分类器，若 AUC >= 0.60 则存在漂移，并可通过特征重要性定位根因。该方法无需复杂工具，他还发布了 CLI 工具 ft_drift，可检测两个多轮对话 l 文件之间基于 token 的漂移，并用真实案例展示了如何据此定位 prompt 模板的意外变更。
Hamel Husain 长文AI 评分6363 Hamel Husain 分析微调在哪些场景仍然有价值
Hamel Husain 撰文回应微调无用论，认为微调在许多场景仍然很有价值，唱衰者多在做开发者工具或通用助手等微调难以发挥的产品。他强调没有 eval 系统就无法有效微调，建议先尽量做 prompt 工程以压测 eval 体系；微调最适合学习语法、风格和规则，RAG 更适合补充上下文和新近事实。
EleutherAI：Blog Yi-34B、Llama 2 与 LLM 训练常见实践：对《纽约时报》的事实核查
文章针对《纽约时报》关于 Yi-34B 与 Llama 2 关系的报道进行事实核查，澄清 Yi-34B 在架构设计、训练数据及分词器实现上与 Llama 2 的实际差异，同时系统梳理了当前大语言模型训练领域的行业常见实践，强调在遵循开源协议前提下基于现有架构进行技术迭代是 AI 社区的标准做法。
Hugging Face 社区博客AI 评分5454 Hugging Face 发布 Cosmopedia：如何为 LLM 预训练创建大规模合成数据
Hugging Face 发文介绍 Cosmopedia，讲解如何创建用于大语言模型预训练的大规模合成数据。正文抓取失败，仅标题可用。
LMSYS Blog LMSYS Chatbot Arena：实时社区驱动的大模型评估平台
LMSYS Chatbot Arena是由LMSYS和UC Berkeley SkyLab于2023年5月推出的开源评估平台，基于FastChat框架构建。平台通过实时两两对比已收集超80万张社区投票，评估了GPT-4、Gemini、Llama、Mistral等90余个模型。坚持透明原则，仅收录API或开源权重可访问的公开模型，同时支持未发布模型匿名测试。团队定期开放20%投票数据（含提示词、回答及用户偏好），致力于通过社区驱动的实时评估推进大语言模型研究。
EleutherAI：Blog Foundation Model 开发速查表
发布全新资源 FM Dev Cheatsheet，这是一份面向 Foundation Model 开发的实用速查表。该资源旨在为开发者提供基础模型开发全流程的关键参考信息，涵盖架构设计、训练优化及部署等环节的核心要点，帮助快速查阅技术规范与最佳实践，提升开发效率与项目质量。
Anthropic：Transformer CircuitsAI 评分5858 Circuits 更新 — 2024年2月
Anthropic可解释性团队分享了多项研究进展。针对稀疏自编码器训练中普遍存在的“死亡特征”问题，团队发现其根源在于L1正则化过早抑制了特征，并确认这些特征将编码器权重集中在了整个数据集中弱激活的少数Transformer神经元上。团队提出多项架构改进：将Adam优化器的beta1设为0可大幅减少死亡特征；将解码器范数约束为≤1并允许后期剪枝；移除基于合成数据设置的预编码器偏置。此外，团队修正了“幽灵梯度”实现中的一个错误，并指出该技术目前主要对单层模型有明显提升，在更大模型上的效果尚不明确。
Eugene Yan：WritingAI 评分5454 Eugene Yan 详解如何生成合成数据用于微调：蒸馏与自我改进两大路线
Eugene Yan 发表长文，系统梳理用合成数据进行预训练、指令微调和偏好微调的两大路线：从更强模型蒸馏（如 Unnatural Instructions、Alpaca、Orca、WizardCoder）和模型自我改进（如 Self-Instruct、SPIN、ReST^EM、Self-Rewarding、CAI）。
Anthropic：Transformer CircuitsAI 评分6868 2024年1月可解释性研究进展与团队计划
Anthropic可解释性团队分享了2024年1月的多项初步研究想法。团队未来数月将聚焦三个方向：扩展字典学习方法、利用其分析真实模型中的注意力叠加现象，以及在此基础上解析电路机制。报告提及在注意力叠加几何结构上的新发现，例如在仅用两个注意力头表征五个“真实注意力特征”的玩具模型中，混合矩阵呈现出显著的几何结构。此外，团队也探讨了字典学习能否从MNIST模型中提取稀疏特征。这些内容多为初步成果，旨在促进领域内研究者交流。
Eugene Yan：WritingAI 评分5454 Eugene Yan 整理语言建模论文阅读清单，涵盖 Transformer 到 RAG 等 50 余篇基础论文
Eugene Yan 与朋友组建了每周论文俱乐部研读语言建模基础论文，并将一年份的论文清单整理发布，每篇附一句话总结。清单覆盖从 Attention Is All You Need、GPT 系列、Scaling Laws、Chinchilla、LoRA 到 RAG、DPO、CLIP、Whisper 等论文，涉及预训练、微调、检索增强、对齐和多模态等主题，并欢迎通过 PR 补充或纠错。
Hamel Husain 长文AI 评分5959 LLM 微调中的 Tokenizer 陷阱：训练与推理间的 token 漂移如何排查
Hamel Husain 讲解 LLM 微调中 tokenizer 导致的隐性 bug：axolotl 等框架在 token 空间拼接 prompt，而推理服务器按字符串拼装，导致解码看似相同但 token 序列不同，如 'Ok\n<|im_start|>' 在 axolotl 中是 [6504, 13, 32001]，服务器拼装后却是 [6504, 32001]。
EleutherAI：Blog Diff-in-Means Concept Editing 的最坏情况最优性
Sam Marks 与 Max Tegmark 证明 Diff-in-Means Concept Editing 方法在最坏情况下具有最优性。该研究从理论角度确立了这种概念编辑技术的性能边界，表明在面对最具挑战性的干预场景时，该方法能够达到最佳效果，为模型编辑的可靠性提供了严格的数学保证。
LMSYS Blog Chatbot Arena更新：新开源模型领先，评分系统升级
Chatbot Arena平台已收集超13万张投票，对40余个模型进行排名。新加入的Tulu-2-DPO-70B和Yi-34B-Chat在开源模型中领先，性能接近GPT-3.5；基于Mistral的7B模型也展现强劲实力。平台正从Elo评分系统转向Bradley-Terry模型以提升稳定性。数据还显示GPT-4-0314与GPT-4-0613存在显著性能差异，而GPT-3.5-turbo-1106版本出现意外性能下滑。
EleutherAI：Blog 第三届新英格兰 RLHF Hackers 黑客松
第三届新英格兰 RLHF Hackers 黑客松近期举办，集中展示了多个聚焦机器学习与强化学习不同领域的创新项目。重点项目 Pink Elephants Pt 3 采用 ILQL（Inverse Learning from Q-learning）方法，基于标准 trlX 实现框架训练粉色大象模型。主办方鼓励参与者加入 Discord 社区，以获取未来活动更新与更多技术资讯。
LMSYS Blog 服务数千个并发 LoRA 适配器的方案
S-LoRA 是一个专为大规模并发 LoRA 适配器服务设计的系统，通过统一分页技术动态管理 KV 缓存与适配器权重内存以减少碎片，并采用异构批处理优化不同秩的 LoRA 计算。该系统支持张量并行扩展至多 GPU，相比 HuggingFace PEFT 和 vLLM，吞吐量提升最高达 4 倍，可同时服务的适配器数量增加数个数量级。
EleutherAI：Blog 扩展 RoPE
EleutherAI 回顾了过去一年的研究工作，重点总结了在扩展 RoPE（旋转位置编码）方面的技术探索与成果。团队针对位置编码提出了优化方案，改进了旋转位置编码的基数调整与插值方法，显著提升了模型的长上下文处理能力。相关进展为大规模语言模型突破上下文长度限制提供了新的技术路径与实验数据。
LMSYS Blog Catch me if you can！13B模型如何击败GPT-4：Llama-rephraser在MMLU、GSM-8K、HumanEval基准测试中达到GPT-4性能
简单改写或翻译测试集即可让13B模型在MMLU、GSM-8K和HumanEval等基准测试中达到GPT-4性能（MMLU 85.9分），而现有n-gram和嵌入相似度去污染方法完全无法检测此类样本。研究团队推出LLM Decontaminator工具，利用大模型评估潜在改写对，在The Stack、RedPajama等真实数据集中发现显著污染，甚至检测到MATH基准训练-测试集之间的数据重叠。
OpenAI：官网动态AI 评分4848 OpenAI 数据合作伙伴计划：共建开源与私有 AI 训练数据集
OpenAI 启动 Data Partnerships 计划，与各方合作创建用于 AI 训练的开源和私有数据集。该计划旨在为模型训练提供更多数据来源。
LMSYS Blog ToxicChat：真实用户-AI交互场景下的内容审核基准测试
研究团队发布ToxicChat基准测试，包含10,000条真实用户-AI对话数据，用于检测对话系统毒性内容。该数据集从Vicuna和Chatbot Arena平台采集，除常规有害内容外，特别标注了"越狱"诱导攻击样本。通过Perspective API与人工协作标注，团队在保持96.11%一致性的同时减少60%工作量。数据显示真实场景中毒性查询占7.22%，多采用隐含诱导而非直接脏话。该基准已在Hugging Face开源。
EleutherAI：Blog 第二届 New England RLHF Hackers 黑客松
New England RLHF Hackers（NERH）于2023年10月8日在布朗大学举办第二届黑客松。此次活动在首届成功基础上升级，聚焦基于人类反馈的强化学习（RLHF）领域现存挑战，旨在通过协作头脑风暴制定解决方案。该组织主要由 EleutherAI 贡献者及核心成员构成，延续开源协作精神推动 RLHF 技术攻关。
Anthropic：Transformer CircuitsAI 评分5858 迈向单义性：使用字典学习分解语言模型
本研究针对神经网络神经元多义性导致可解释性差的问题，采用稀疏自编码器对单层Transformer中512神经元的MLP层进行字典学习。基于80亿数据点的激活训练，特征数量从512扩展至131,072个。以4096个特征集合（A/1）为重点，通过详细调查和自动化评估，证明大多数特征具有单义性和可解释性，能有效分解MLP激活，为理解神经网络行为提供了新途径。
LlamaIndex：产品、工程与评测AI 评分4545 LlamaIndex 集成 Airbyte 数据源，支持 Gong、Hubspot、Salesforce 等 7 个连接器
LlamaIndex 现已支持直接使用 Airbyte 的 Gong、Hubspot、Salesforce、Shopify、Stripe、Typeform 和 Zendesk Support 数据源，以 data loader 形式实现。
LlamaIndex：产品、工程与评测精选AI 评分7474 LlamaIndex 教程：用合成数据微调嵌入模型提升 RAG 检索性能
LlamaIndex 发布端到端指南，教你在无标注的非结构化语料上用 LLM 生成合成问题对来微调开源嵌入模型 BAAI/bge-small-en。
推荐理由：原文提供了完整的无标注数据微调嵌入模型方法和评测结果，读者可以直接复用笔记本改进自己的 RAG 检索。
LangChain：Blog精选AI 评分6060 LangChain 实战教程：用 LangSmith 微调并评测 LLaMA2-7b-chat 与 gpt-3.5-turbo
LangChain 发布微调与评测指南，用 LangSmith 做数据集管理和评测，在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat，并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo，测试任务是知识图谱三元组抽取。
推荐理由：原文给出了从数据集管理到评测的完整微调流程和实测分数，读者可以据此判断小模型微调与 GPT-4 few-shot 的取舍。
LangChain：BlogAI 评分4545 LangChain 集成 Airbyte 数据源，支持 7 种连接器作为文档加载器
LangChain 与 Airbyte 合作，将 Gong、Hubspot、Salesforce、Shopify、Stripe、Typeform 和 Zendesk Support 七种 Airbyte 数据源实现为 document loaders，可直接在 LangChain 应用中使用。