Rohan Paul@rohanpaul_aiAI 评分4545
Drop 1/15: Introducing Joy, a dual-channel conversational dataset. Real, unscripted conversations between two people, each on their own track. Built to teach voice models how people actually talk: when to listen, when to jump in, when to say “hmm”. 100,000 hours. 50,000 speakers. 10 languages.
据 The Information 报道，DeepSeek 和月之暗面转而大量利用 OpenAI 最强模型 GPT-6 Astra 的输出训练新模型，涉及 Kimi K3.1 Pro 和 V4.1-Flash 1017，此前 Claude 是主要目标但 Anthropic 收紧了防御。
Cartesia 发布 From Tokens to Bytes 系列第二篇，通过 compute-to-loss 与 loss-to-loss 两类 scaling law 对比 Byte Transformer、BPE（含/不含 pretokenization）、BLT-like 和 H-Net 等方法。
Cartesia 发布系列博客第一篇，报告其层级网络（H-Net）在字节级语言建模上的扩缩律结果：与严格匹配的 BPE Transformer 相比，1-stage H-Net 在验证损失上节省 1.28x 计算，下游评测约 2x，代码任务中位数 2.04x、分布外编程语言中位数达 3.10x（如 Prolog 5.37x）。
推荐理由：Cartesia 原创研究给出 H-Net 替代 BPE 分词的对照实验与 3-5x 计算效率数据，可了解字节级学习的实际进展。
404 Media 介绍了英国和欧盟用户拒绝 Meta 将其内容用于 AI 训练的操作方法。Meta 早前更新商业条款允许用业务账号内容训练 AI，生效日期因反弹从 10 月 30 日推迟到 11 月 20 日，并从允许用途中移除了 train 一词。
摩尔线程宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan，基于其全功能 GPU，面向万卡级集群的万亿参数 MoE 模型训练，覆盖预训练与强化学习两大场景。
Google Research 提出面向持续学习的 sleep 框架，让 LLM 在活跃交互与离线记忆巩固之间循环，把脆弱的短期上下文固化为长期参数。该框架结合 MoE 参数扩展、GKD 与 RL 模仿学习，可让模型持续习得新事实、保留最长 10M tokens 的长上下文知识并提升复杂推理。
NVIDIA 发布 Nemotron-Personas-France 与 Nemotron-Personas-Belgium 数据集，用于将 Nemotron 开放模型后训练为贴合当地语言与文化的应用模型。
AI 实验室 Mirendil 发布首个编码模型 Fern 0.1，上下文窗口最高 10M token，约 23 MB 代码。其基座 Mirendil-Base 由 1 名研究员在 3.5 个月内完成预训练，总算力成本低于 1000 万美元，超过 99% 代码由 AI 智能体编写，训练数据仅来自公开来源。
Browser Use 团队介绍一套用 LLM 从网站抽取结构化数据的方法：先写一份 JSON Schema 贯穿所有站点，静态页用 fetch + Markdown + 结构化输出，需登录、点击或 JavaScript 流程的页面才用浏览器 Agent，并对每条记录做 Schema 校验、失败重试或标记，同时保存 source_url。
Brown 大学大四学生 Ma 绘制了一张 AI 劳动力地图，揭示 13 家数据标注公司、141 家企业客户与 31 个国家数据工人站点之间的关联，指向她所称的“AI 殖民主义”。她指出，全球南方（肯尼亚、印尼、哥伦比亚等）的工人需阅读大量 AI 生成的儿童色情、兽交与暴力内容以训练 AI 安全能力。该地图被定位为公众教育工具，Ma 希望未来扩展到半导体行业劳动力。
英国 AI Security Institute 的 Chem-Bio 团队从零预训练 8M 到 3B 参数的 ESM-2 蛋白质语言模型，测试预训练数据过滤对专业科学模型的效果。
推荐理由：原文给出实验数据说明预训练数据过滤能选择性削弱蛋白模型能力，但约 80 美元算力即可恢复，需配合数据访问控制。
小红书 AllSpark 团队提出一套不依赖人工标注的合成数据训练流程，用 GLM-5.2 对 3515 篇公开文档做深度改写以切断参数记忆，最终生成 9625 条训练样本。
EleutherAI 的 SOAR 项目论文《Tracing Subliminal Learning Through Pretraining》研究潜意识学习：教师模型的动物偏好可通过蒸馏迁移给学生，且不要求共享初始化、数据顺序、预训练语料、模型规模或架构。
SemiAnalysis 工程团队分享了在 Trainium2 和 Trainium3 上使用 TorchTitan 与 TorchNeuron 原生 PyTorch 训练栈的实测体验。
Baseten 推出 Environment Network，联合一批经严格审核的 RL 环境公司，为客户基于自有数据和领域定制 RL 环境。合作方直接对接客户构建环境，Baseten 仍负责训练与推理。Baseten 还计划开源一批前沿质量环境及审计、训练方法。
Meta 宣布将新商业条款的生效时间从 10 月 30 日推迟到 11 月 20 日，此前出版方担忧条款允许 Meta 抓取新闻网站内容用于 AI 训练。News/Media Alliance 致信 Mark Zuckerberg 要求修改条款，欧盟和英国的广告主与出版方也敦促监管机构介入；Meta 表示将利用这段时间说明网络爬虫的使用方式，并强调内容方仍可通过 robots.txt 表达偏好。
Rohan Paul@rohanpaul_aiAI 评分4848
We're announcing the public beta of http://datavendor.ai We spent the last two years building the best solution for people buying and selling data, whether you're a researcher in a lab or a company trying to sell data. Data is the fundamental bottleneck for AI progress, and DataVendor will be the infra that solves it.
OCRia-1 是一款 4B 参数的视觉语言模型，在 ParseBench 上取得 87.4 总分，领先第二名 12.1 分，创下 35B 参数以下解析模型的最高分。
小红书大模型基建部发布 NeurIPS 2026 论文 Hint Tuning: Less Data Makes Better Reasoners，把推理模型的思维链按反思词切成片段作为 hint 交给同家族 Instruct 模型，测出每道题的最小有效提示，据此构造长度可变的训练数据。
作者 A. Chen 在北京五道口访谈研究者和创业者，梳理机器人数据采集三代技术：遥操作、同构外骨骼（UMI）和自 2026 年起兴起的第一视角采集，NVIDIA EgoScale 项目用超 1000 人拍摄了 20854 小时第一人称视频。
腾讯混元与复旦大学研究团队提出 WorkForge 框架，从真实世界资源出发规模化构建可验证的智能体工作环境，产出 WorkForge-16K 共 16,665 个环境，覆盖 40 个专业领域、60 种文件类型。
Perplexity 与 NVIDIA 团队提出后训练方法 JOLT，让同一个模型同时扮演教师和学生，且教师也参与训练。在 MATH 上，JOLT 以 6.5 倍更少的训练 token 达到 GRPO 的准确率；JOLT+ 在 AppWorld 状态测试通过率达 72.09%，比 GRPO 的 62.20% 高 9.9 个百分点。
Modal 推出 Modal Dojo 训练库，提供构建块、调优配方和可观测性面板，用于生产级 LLM 后训练。
Aravind Srinivas@AravSrinivasAI 评分4242New research: We developed JOLT, a post-training method where one model acts as both teacher and student, with the teacher trained to give feedback the student can use. On MATH, it matched GRPO's accuracy with 6.5x fewer training tokens. https://www.perplexity.ai/hub/blog/a-good-teacher-meets-the-student-where-they-are
NVIDIA 发布 Kumo Relational，一个预训练的关系型基础模型，通过 Predictive Query Language 直接在企业数据库上做预测，单次前向传播内读取最多 10,000 个历史上下文样本，无需任务训练和特征工程。
小红书 AllSpark Team 提出 ROSS，让模型重新学习训练中自己生成的 rollout，通过筛选有价值轨迹片段并保留完整上下文做选择性监督。基于 Qwen3.6-35B-A3B，该方法在单轮 RL 中把数学均分从 75.19% 提至 76.98%、代码从 42.09% 提至 44.21%，MOPD 均分从 58.40% 提至 62.20%。
Together AI 推出 Together Post-Training 服务，支持用户自定义完整训练循环，通过 RL 环境奖励和 SFT 数据训练专属模型。
Fireworks 推出 Free Weights Club，Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
Fireworks AI 推出 Free Weights Club，Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
AI 实验室 HUMXN 宣布补贴管道、电工、暖通空调等居家服务，居民可免费获得服务，条件是允许佩戴可穿戴采集设备的人员录制技师作业，用于训练 AI 机器人。项目首批落地明尼阿波利斯、芝加哥和迈阿密三座城市，以覆盖不同气候环境，创始人 Thomas Unise 称机器人需要理解专业人员与物理世界交互的方式。
国际联合研究团队在《科学》发表论文，公布可从单个原子层面建模设计蛋白质与核酸的生成式 AI 系统 RFdiffusion3，团队已于 2025 年 12 月 3 日将其开源。
Saito@SaitoWuAI 评分6464Nathan Lambert 在播客访谈中判断，中国实验室卡住的不是蒸馏，而是算力差距，OpenAI 一个普通研究员可调动的算力约相当于 5000 张 H100。
PyTorch 为 TorchTitan 引入 Zephon，一种弹性确定性数据加载方案，在训练任务内即时完成 tokenize、pack、shuffle 和 mix，无需预处理语料副本。
小红书 AllSpark 团队提出 Skill2Env，一套以 Agent 能力需求为导向的自动化环境合成框架，从已有 Skills 出发构建可执行训练环境。
NVIDIA 联合 IIT Madras 的 AI4Bharat 发布 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token，覆盖印度宪法列出的 22 种语言，含 2601.0 亿原生文字 token 和 224.6 亿罗马化 token（按 Gemma-4 tokenizer 计）。
MIT 生物学助理教授 Pulin Li 团队与研究生 Nicholas Hutchins 发现每条信号通路会在细胞中留下跨细胞类型一致的基因活性指纹，据此开发机器学习模型 IRIS，可回溯胚胎细胞在发育各阶段接收的信号，论文于 9 月 8 日发表在 Nature Methods。
Mustafa Suleyman@mustafasuleymanAI 评分5151