Rohan Paul@rohanpaul_aiAI 评分4545
Drop 1/15: Introducing Joy, a dual-channel conversational dataset. Real, unscripted conversations between two people, each on their own track. Built to teach voice models how people actually talk: when to listen, when to jump in, when to say “hmm”. 100,000 hours. 50,000 speakers. 10 languages.
Cartesia 发布 From Tokens to Bytes 系列第二篇，通过 compute-to-loss 与 loss-to-loss 两类 scaling law 对比 Byte Transformer、BPE（含/不含 pretokenization）、BLT-like 和 H-Net 等方法。
Cartesia 发布系列博客第一篇，报告其层级网络（H-Net）在字节级语言建模上的扩缩律结果：与严格匹配的 BPE Transformer 相比，1-stage H-Net 在验证损失上节省 1.28x 计算，下游评测约 2x，代码任务中位数 2.04x、分布外编程语言中位数达 3.10x（如 Prolog 5.37x）。
推荐理由：Cartesia 原创研究给出 H-Net 替代 BPE 分词的对照实验与 3-5x 计算效率数据，可了解字节级学习的实际进展。
Google Research 提出面向持续学习的 sleep 框架，让 LLM 在活跃交互与离线记忆巩固之间循环，把脆弱的短期上下文固化为长期参数。该框架结合 MoE 参数扩展、GKD 与 RL 模仿学习，可让模型持续习得新事实、保留最长 10M tokens 的长上下文知识并提升复杂推理。
英国 AI Security Institute 的 Chem-Bio 团队从零预训练 8M 到 3B 参数的 ESM-2 蛋白质语言模型，测试预训练数据过滤对专业科学模型的效果。
推荐理由：原文给出实验数据说明预训练数据过滤能选择性削弱蛋白模型能力，但约 80 美元算力即可恢复，需配合数据访问控制。
小红书 AllSpark 团队提出一套不依赖人工标注的合成数据训练流程，用 GLM-5.2 对 3515 篇公开文档做深度改写以切断参数记忆，最终生成 9625 条训练样本。
EleutherAI 的 SOAR 项目论文《Tracing Subliminal Learning Through Pretraining》研究潜意识学习：教师模型的动物偏好可通过蒸馏迁移给学生，且不要求共享初始化、数据顺序、预训练语料、模型规模或架构。
小红书大模型基建部发布 NeurIPS 2026 论文 Hint Tuning: Less Data Makes Better Reasoners，把推理模型的思维链按反思词切成片段作为 hint 交给同家族 Instruct 模型，测出每道题的最小有效提示，据此构造长度可变的训练数据。
腾讯混元与复旦大学研究团队提出 WorkForge 框架，从真实世界资源出发规模化构建可验证的智能体工作环境，产出 WorkForge-16K 共 16,665 个环境，覆盖 40 个专业领域、60 种文件类型。
Perplexity 与 NVIDIA 团队提出后训练方法 JOLT，让同一个模型同时扮演教师和学生，且教师也参与训练。在 MATH 上，JOLT 以 6.5 倍更少的训练 token 达到 GRPO 的准确率；JOLT+ 在 AppWorld 状态测试通过率达 72.09%，比 GRPO 的 62.20% 高 9.9 个百分点。
Aravind Srinivas@AravSrinivasAI 评分4242New research: We developed JOLT, a post-training method where one model acts as both teacher and student, with the teacher trained to give feedback the student can use. On MATH, it matched GRPO's accuracy with 6.5x fewer training tokens. https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are
小红书 AllSpark Team 提出 ROSS，让模型重新学习训练中自己生成的 rollout，通过筛选有价值轨迹片段并保留完整上下文做选择性监督。基于 Qwen3.6-35B-A3B，该方法在单轮 RL 中把数学均分从 75.19% 提至 76.98%、代码从 42.09% 提至 44.21%，MOPD 均分从 58.40% 提至 62.20%。
国际联合研究团队在《科学》发表论文，公布可从单个原子层面建模设计蛋白质与核酸的生成式 AI 系统 RFdiffusion3，团队已于 2025 年 12 月 3 日将其开源。
小红书 AllSpark 团队提出 Skill2Env，一套以 Agent 能力需求为导向的自动化环境合成框架，从已有 Skills 出发构建可执行训练环境。
NVIDIA 联合 IIT Madras 的 AI4Bharat 发布 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token，覆盖印度宪法列出的 22 种语言，含 2601.0 亿原生文字 token 和 224.6 亿罗马化 token（按 Gemma-4 tokenizer 计）。
MIT 生物学助理教授 Pulin Li 团队与研究生 Nicholas Hutchins 发现每条信号通路会在细胞中留下跨细胞类型一致的基因活性指纹，据此开发机器学习模型 IRIS，可回溯胚胎细胞在发育各阶段接收的信号，论文于 9 月 8 日发表在 Nature Methods。
Prime Intellect 与 NVIDIA 构建 2,500 个经验证的企业任务，用 GRPO 在 128 块 GB200 GPU 上训练约 11 小时，将 Nemotron 3.5 Super VL 在 AutomationBench-AA 公开分割上的得分从 34.0% 提升到 57.7%，相对提升 70%。
Rohan Paul@rohanpaul_aiAI 评分5555ETH Zurich 等机构团队提出 LLM-to-Flow Distillation（LFD），让科学生成模型直接追随自然语言发现目标，如设计具抗癌活性的多肽。
We’re bringing natural-language control to any scientific generator. We are very excited to introduce LLM-to-Flow Distillation (LFD), a method to adapt scientific generators to high-level natural-language discovery goals. Starting from textual goals like “design peptides with promising anticancer activity” or “design small molecules binding to the D2 dopamine receptor”, LFD distills high-level goal-related knowledge from LLMs into scientific generators through iterative DPO on LLM-generated sub-goals. 🔥 LFD does not need task-specific proxy rewards, works with any frontier LLM via API-access, and outperforms state-of-the-art reward-guided methods such as FlowGRPO and DiffusionNFT on held-out computational evaluations. (1/6)
vLLM 让训练前向直接调用其推理 kernel 并改造这些高性能 kernel，使 rollout 与训练对每个采样 token 产生逐位相同的 logprob（diff = 0）。
小红书 AllSpark 团队联合商业算法提出 Vela 框架，将匿名化真实用户行为历史转化为训练任务，基于约 10 万匿名化样本主体构建约 7.5 万条训练样本。
MIT McGovern 研究所与 ICoN 中心在 PNAS 发文提出，判断人工神经网络是否具备生物合理性，关键看它能否在没有开发者干预下自组织出学习机制。他们用随机互连的神经元样单元和简单连接规则，构建出能识别模式、分类图像的自组织网络，性能与依赖反向传播的网络相当。研究认为，若大脑确实使用类似的突触基元完成反向传播的功能，将为机器与大脑在基本机制层面建立强关联。
Modal 工程团队展示在 Qwen3.6-35B-A3B 的 agentic coding RL 训练中，用跨六种加速器（B200、B300、H100、H200。
Apple 研究团队在 150M 到 1.43B 四种模型规模、约 1000 次预训练实验中对比发现，混入高资源语言数据比超参数调优更有效，且优势随模型增大而扩大。混合数据带来的提升相当于 2–3 倍目标语言独有数据（验证损失）和 2–13 倍（下游任务准确率）。团队建议优先调整混合比例，并通过 μP 从小代理模型迁移超参数。
蚂蚁 inclusionAI 在 GitHub 发布 BiDex-100，一个覆盖 106 个仿真任务的双臂灵巧操作基准，用于评测视觉-语言-动作（VLA）策略。该基准包含 8,080 条成功验证演示、6.25M 帧、58 维统一动作空间，并提供匹配的 ID/OOD 评测协议与 LeRobot v2.1/v3.0 数据集。
阿里 Qwen 团队推出 QwenGyre，一个面向超长时程智能体训练的弹性强化学习框架，通过在线 RL 在未经修改的黑盒 harness 中训练编码智能体，单次 rollout 可运行数小时、处理近 1M tokens。
Baseten Base Labs 向 13B 模型 talkie（知识截止 1930 年）顺序写入 2011–2019 年的 20 条体育事实，每条训练一个 LoRA 并合并。
Qwen@Alibaba_QwenAI 评分4646千问发布 QwenGyre，为超长时程（XLong）智能体训练引入弹性强化学习，核心设计包括 Elastic Scheduler 与 Trajectory Processor。
Rohan Paul@rohanpaul_aiAI 评分5757Evolvent AI 发布开源研究环境 RSIGym，让 AI 智能体在统一预算环境内重训练模型并改写 harness。
💡Our view: RSI is a systems engineering problem, not just a model problem. Progress depends on the environment a research agent works in: what resources it can call, what it can change, and how it runs experiments. That environment should reflect real production workflows and be easy for agents to use. At @Evolvent_AI, we built RSIGym around Everything as a Service. Agents can call established research services and iterate on data, training settings, and harness code. We also introduce RSI-Index to measure how well frontier agents jointly improve a target model’s weights and harness. Across 6 research agents and 5 benchmarks, Opus 5 leads at 0.4809. 🧵 We’re releasing the code, experiment configurations, research trajectories, and evaluation logs. Try your own improvement methods with RSIGym. 🌐 Website: https://rsi-index.ai/ 💻 GitHub: https://github.com/evolvent-ai/RSIGym 📄 arXiv: https://arxiv.org/abs/2610.10310
Rohan Paul@rohanpaul_aiAI 评分5252上海AI实验室发布 SkillGym 论文，把人类编写的 agent 技能文件转成带 pass-or-fail 检查器的沙盒任务，用验证通过的运行轨迹训练模型，降低对提示词期检索和指令跟随的依赖。
Cohere Labs 基于 32K 上下文长度的 Tiny Aya 基础模型，用数据混合策略训练出 Tiny Aya L2-Thinker，在 60 种语言上实现超 93% 的母语推理率。
Baseten Base Labs 复现并检验了近期关于 RL 训练轨迹近似直线、可通过线性外推替代完整 RL 运行的结论，发现其效果有限。
Arena.ai@arenaAI 评分5353Arena 发布图像模型后训练奖励设计研究，指出人类偏好奖励必要但不充分，可能奖励看似美观但漏细节、加未要求内容或出现 reward-hacking 的输出。
Apple 研究团队提出 SCLATE，一个让基准测试与未经修改的智能体各自通过适配器向同一开放事件调度器注册事件的执行基座，其混合模拟时钟可将长达一个月的场景压缩到数小时内运行。
OpenBMB@OpenBMBAI 评分4545面壁智能联合清华 THUNLP 提出 Diffusion Reward Models（DRM），不再把人类偏好压缩成单一分数，而是学习完整奖励分布，保留分歧、不确定性与多种合理判断。
MIT研究人员借助AI算法优化脂质纳米颗粒（LNP）的辅料配比，成功开发出耐热性更强的RNA疫苗配方。该配方使疫苗在室温下可稳定保存一年，或在37摄氏度下保存两个月，且在小鼠实验中产生的免疫反应与Moderna类似。AI算法通过少量实验数据快速收敛至最优解，将原本需数月的筛选过程缩短至几周。相关成果发表于《Nature Biotechnology》。
推荐理由：展示了AI在小数据集和复杂生物化学问题中的高效应用，显著加速了药物研发流程，具有明确的科学突破和实际应用价值。