在下游任务上微调模型
研究团队对GPT-Neo模型开展下游任务微调实验，利用eval harness评测体系进行针对性训练，系统观测微调过程对其性能表现产生的具体影响。实验通过调整模型参数适配特定任务，评估预训练模型在下游场景中的能力变化与适应性表现，为理解微调对模型性能的优化效果提供实证数据支撑。
#数据/训练
EleutherAI：Blog EleutherAI：Blog 激活函数消融研究
针对类 GPT 自回归语言模型开展激活函数消融实验，系统评估不同激活函数对模型性能的影响。通过对比分析各类激活函数在自回归架构中的表现差异，检验其对模型表达能力、训练稳定性及生成质量的作用机制，为大语言模型的激活函数选择与架构优化提供实验依据。
EleutherAI：Blog 旋转位置编码（RoPE）：一场相对的革命
旋转位置编码（RoPE）作为一种新型位置编码技术，统一了绝对位置与相对位置编码方法。该技术突破了传统位置编码的局限，在保持绝对位置信息的同时实现了相对位置感知能力。测试验证表明，这种编码方案在模型性能和位置外推方面展现出优势，为大语言模型的位置表示策略提供了新的技术路径。
Eugene Yan：WritingAI 评分4646 如何在数据科学与机器学习中选择要解决的问题
面对 8 名数据科学家和 20 个问题，团队该选哪 3 到 8 个来做？文章主张用成本收益分析量化收益与成本，并考虑受影响用户规模（extent）与严重程度（severity）。作者还指出，部分问题难以量化，但能带来可复用的能力与学习，从而降低解决其他问题的成本。
Eugene Yan：WritingAI 评分4747 如何在数据黑客松中获胜：Hacklytics 2021 经验总结
在 Hacklytics 2021 担任评委的 Eugene Yan 总结了获胜队伍的共同做法：优先使用现成数据集和 API 而非爬取数据，借助 Vader、afinn、text2emotion 等库和预训练 BERT 微调来加速建模，并用 React、Streamlit、Plotly 或 Flask 快速搭建可部署的演示界面。
Eugene Yan：WritingAI 评分5858 Eugene Yan 详解实时推荐系统：何时适用、业界实现与 MVP 设计
Eugene Yan 撰文讲解实时推荐系统的适用场景、中美业界实现与 MVP 设计。文章指出多数场景用批量推荐即可，实时推荐适合任务导向购物、视频观看等情境；文中拆解了 Alibaba 1688 的 Swing 算法架构（该组件获 72% 用户点击）。
Eugene Yan：WritingAI 评分4141 为什么要建立数据科学作品集，它能展示什么
数据科学作品集不只是求职工具，更应出于学习实践、帮助他人和兴趣乐趣等内在动机来构建。作品集分为代码与内容两类，可包含开源贡献、数据竞赛、NLP 工具等，展示技术之外的多种技能与特质。
Eugene Yan：WritingAI 评分4343 监督学习中的 NLP：一份简要综述
一份按时间线梳理的 NLP 监督学习技术综述，从 1985 年的 RNN 讲到 2020 年，涵盖 LSTM（1997）、GRU（2014）、Word2vec（2013）。
Eugene Yan：WritingAI 评分4646 冷门观点：数据科学家应更端到端
数据科学家应更端到端，从识别问题到解决问题全程负责，而非把问题框定、数据工程、ML、部署维护拆给不同角色。作者认为端到端能带来更多上下文、更快迭代和更高满意度，并减少沟通与协调开销。
Eugene Yan：WritingAI 评分5050 Eugene Yan：数据科学项目完成后为何要跟进收尾
Eugene Yan 撰文说明数据科学项目完成后需要跟进收尾，指出首次迭代的代码常因死路代码、运行顺序错误和 Jupyter notebook 版本控制不佳而难以复现。
Eugene Yan：WritingAI 评分4444 数据科学项目执行阶段：如何通过文献调研、快速实验与站会交付成功
数据科学项目执行阶段，作者建议先花约一周做文献调研，参考 LinkedIn、大众点评、eBay、Walmart 的文本分类论文，再借助 Jupyter、papermill 和 mlflow 快速实验迭代。团队协作上，每日站会用于对齐与暴露阻塞，可选的 EODD 提供非正式反馈，并定期与利益相关方确认业务目标。
Eugene Yan：WritingAI 评分5454 Eugene Yan 谈数据科学项目开始前确保成功的三个做法
作者总结数据科学项目启动前的三项实践：写一页纸文档、设定时间盒和任务拆解。一页纸写明意图、期望结果、交付物和约束；时间盒按阶段从可行性评估的 1-2 周到生产开发的 3-6 个月逐步放宽；拆解则用于提前发现死胡同并优先处理高风险组件。
OpenAI：官网动态精选AI 评分6161 OpenAI 分析：训练神经网络所需算力每 16 个月减半
OpenAI 发布分析，指出自 2012 年以来，在 ImageNet 分类上达到同等性能所需训练算力每 16 个月下降一半。达到 AlexNet 水平如今所需算力比 2012 年少 44 倍，而同期摩尔定律只能带来 11 倍的成本改进；结果表明在近期投入较高的 AI 任务上，算法进步带来的收益超过传统硬件效率提升。
推荐理由：OpenAI 用 ImageNet 分类数据量化算法进步的速度，读者可据此比较算法效率与摩尔定律的贡献差异。
Eugene Yan：WritingAI 评分4848 推荐系统中的偶然性：准确率之外被忽视的指标
推荐系统不应只追求准确率，偶然性（serendipity）同样重要。作者梳理了 10+ 篇论文，总结出多样性和新颖性两类衡量指标：多样性可基于商品元数据或用户共现的余弦相似度计算，新颖性则通过推荐项在全体用户中的出现频率来衡量。准确率指标（如 NDCG、MAP、AUC、recall@n）因库支持完善、文献通用而更常被采用，偶然性指标则缺乏统一标准。
Hugging Face 社区博客AI 评分5050 Hugging Face 教程：如何用 Transformers 和 Tokenizers 从零训练新语言模型
Hugging Face 博客发布教程，讲解如何使用 Transformers 和 Tokenizers 从零训练一个新的语言模型。
Eugene Yan：WritingAI 评分4343 用 PyTorch 中的图与 NLP 击败基线推荐系统
在矩阵分解基线推荐系统取得约 0.8 AUC-ROC 的基础上，作者尝试用图与 NLP 方法进一步提升效果。做法是把商品对及其关联分数构建成加权图，经随机游走生成序列，再用 word2vec 学习商品嵌入向量，并基于嵌入相似度做推荐。作者还提到 Node2Vec 因内存占用过高、在 64GB 实例上也无法跑完。
Eugene Yan：WritingAI 评分4848 如何在笔记本上用 PyTorch 构建强基线推荐系统
基于 Amazon 电子产品与图书数据集（1996 年 5 月至 2014 年 7 月），在 16GB 内存笔记本上用 PyTorch 构建推荐系统基线。电子产品数据集含 418,749 个商品和 4,005,262 个商品对，图书数据集含 1,948,370 个商品和 26,595,848 个商品对，稀疏度均为 0.9999。
Lilian Weng：Lil'Log精选AI 评分5757 进化策略
进化策略是一种在目标函数解析形式未知或无法直接计算梯度时，用于优化模型参数的黑箱优化算法。它作为随机梯度下降的替代方案，适用于多种优化场景。文章介绍了模拟退火、爬山法、Nelder-Mead方法等经典进化策略，并探讨了该方法在深度强化学习中的应用。通过评估目标函数值而非依赖梯度信息，进化策略为复杂优化问题提供了有效路径。
推荐理由：这篇五年前的进化策略入门，至今仍是理解黑箱优化的最佳起点，Lilian Weng的笔法清晰，做RL的朋友可以当字典翻。
Lilian Weng：Lil'LogAI 评分4242 深度神经网络是否严重过拟合？
深度神经网络因参数众多且训练误差易达完美，常被认为会严重过拟合，却仍能有效泛化到样本外数据，这一悖论困扰着许多从传统机器学习转型的研究者。文章更新于2019年5月27日，新增了Lottery Ticket Hypothesis部分，该假说通过网络稀疏性为理解泛化能力提供了新视角。内容从困惑切入，分析深度学习与传统方法的差异，探讨过拟合问题的本质，但未提供具体实验数据或指标。
Lilian Weng：Lil'LogAI 评分4747 元学习：学习快速学习
元学习，又称“学会学习”，旨在设计能够快速适应新任务或环境的模型，仅需少量训练样本。其主流方法包括三类：基于度量的方法，通过学习高效的距离度量；基于模型的方法，利用带有内部或外部存储的（循环）网络；以及基于优化的方法，通过显式优化模型参数以实现快速学习。此外，文章提及已有中文翻译版本可用。
Lilian Weng：Lil'LogAI 评分4141 从自编码器到Beta-VAE：生成模型的演进之路
本文系统梳理了自编码器系列模型的演进历程。自编码器通过瓶颈神经网络结构学习高维数据的压缩表示，其副产品是可用于降维、特征提取等任务的潜在编码。文章重点介绍了变分自编码器（VAE）及其关键变体Beta-VAE，它们通过引入概率框架和解缠约束，显著提升了生成能力。此外，还涵盖了去噪、稀疏等经典改进模型，并补充了后续发展如VQ-VAE与TD-VAE的相关内容。
Lilian Weng：Lil'Log精选AI 评分5555 策略梯度算法
该文章系统梳理了策略梯度算法的发展脉络，深入解析其工作原理，并详细介绍了从基础到前沿的多种算法，包括PPO、SAC、TD3、IMPALA等主流方法。文章自2018年起持续更新，陆续新增了D4PG、SVPG、PPG等新算法，并补充了关于PPO的最新讨论。文中还提供了韩语及中文等多个语言版本的翻译，便于不同读者参考。
推荐理由：这篇是当年策略梯度方法的“圣经”级综述，现在看虽然有些过时，但想理解PPO、SAC的来龙去脉还得从这儿啃起。
OpenAI：官网动态精选AI 评分7373 OpenAI 发布强化学习算法 Proximal Policy Optimization (PPO)
OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization（PPO），性能与当时最先进方法相当或更好，同时实现和调参更简单。因易用且表现良好，PPO 已成为 OpenAI 内部默认的强化学习算法。
推荐理由：OpenAI 官方宣布 PPO 算法开源，并说明其成为内部默认强化学习算法的原因，可帮助读者了解该方法的定位。
OpenAI：官网动态AI 评分5454 OpenAI 探讨现实中的错误奖励函数问题
OpenAI 发布博文，探讨强化学习算法因奖励函数设定错误而出现意外、反直觉行为的一种失败模式，并计划具体展开该问题的表现方式。
Eugene Yan：WritingAI 评分4343 产品分类 API 第二部分：数据准备
产品分类 API 系列第二部分聚焦训练前的数据清洗与准备，通过"同标题同类别产品数 / 总产品数"衡量数据纯度，并剔除同标题不同类别的疑似错分样本。标题处理流程包括将非 ASCII 字符编码为 ASCII、转小写、用自定义正则替代 nltk.tokenize 分词，以及结合 nltk 停用词、matplotlib 颜色名和自定义垃圾词（如 free、international）去停用词。