Figma 讲解如何训练专用画布编辑模型
Figma 介绍其为 agent 自研 Figma 编辑模型的训练方法,先用超过 25 万条合成样本做 SFT,让早期 Llama 3.3 70B 在编辑任务上接近当时顶级模型,后转向 RL 并结合确定性校验器与视觉评委做评测。
推荐理由:原文拆解了 Figma 自研编辑模型从 SFT 到 RL 的训练路径与内部评测维度,可作专业领域后训练的参考方法。
Figma 介绍其为 agent 自研 Figma 编辑模型的训练方法,先用超过 25 万条合成样本做 SFT,让早期 Llama 3.3 70B 在编辑任务上接近当时顶级模型,后转向 RL 并结合确定性校验器与视觉评委做评测。
推荐理由:原文拆解了 Figma 自研编辑模型从 SFT 到 RL 的训练路径与内部评测维度,可作专业领域后训练的参考方法。
Cartesia 发布 From Tokens to Bytes 系列第二篇,通过 compute-to-loss 与 loss-to-loss 两类 scaling law 对比 Byte Transformer、BPE(含/不含 pretokenization)、BLT-like 和 H-Net 等方法。
Cartesia 发布系列博客第一篇,报告其层级网络(H-Net)在字节级语言建模上的扩缩律结果:与严格匹配的 BPE Transformer 相比,1-stage H-Net 在验证损失上节省 1.28x 计算,下游评测约 2x,代码任务中位数 2.04x、分布外编程语言中位数达 3.10x(如 Prolog 5.37x)。
推荐理由:Cartesia 原创研究给出 H-Net 替代 BPE 分词的对照实验与 3-5x 计算效率数据,可了解字节级学习的实际进展。
Google Research 提出面向持续学习的 sleep 框架,让 LLM 在活跃交互与离线记忆巩固之间循环,把脆弱的短期上下文固化为长期参数。该框架结合 MoE 参数扩展、GKD 与 RL 模仿学习,可让模型持续习得新事实、保留最长 10M tokens 的长上下文知识并提升复杂推理。
NVIDIA 发布 Nemotron-Personas-France 与 Nemotron-Personas-Belgium 数据集,用于将 Nemotron 开放模型后训练为贴合当地语言与文化的应用模型。
Browser Use 团队介绍一套用 LLM 从网站抽取结构化数据的方法:先写一份 JSON Schema 贯穿所有站点,静态页用 fetch + Markdown + 结构化输出,需登录、点击或 JavaScript 流程的页面才用浏览器 Agent,并对每条记录做 Schema 校验、失败重试或标记,同时保存 source_url。
英国 AI Security Institute 的 Chem-Bio 团队从零预训练 8M 到 3B 参数的 ESM-2 蛋白质语言模型,测试预训练数据过滤对专业科学模型的效果。
推荐理由:原文给出实验数据说明预训练数据过滤能选择性削弱蛋白模型能力,但约 80 美元算力即可恢复,需配合数据访问控制。
EleutherAI 的 SOAR 项目论文《Tracing Subliminal Learning Through Pretraining》研究潜意识学习:教师模型的动物偏好可通过蒸馏迁移给学生,且不要求共享初始化、数据顺序、预训练语料、模型规模或架构。
Baseten 推出 Environment Network,联合一批经严格审核的 RL 环境公司,为客户基于自有数据和领域定制 RL 环境。合作方直接对接客户构建环境,Baseten 仍负责训练与推理。Baseten 还计划开源一批前沿质量环境及审计、训练方法。
OCRia-1 是一款 4B 参数的视觉语言模型,在 ParseBench 上取得 87.4 总分,领先第二名 12.1 分,创下 35B 参数以下解析模型的最高分。
Modal 推出 Modal Dojo 训练库,提供构建块、调优配方和可观测性面板,用于生产级 LLM 后训练。
Together AI 推出 Together Post-Training 服务,支持用户自定义完整训练循环,通过 RL 环境奖励和 SFT 数据训练专属模型。
Fireworks 推出 Free Weights Club,Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
Fireworks AI 推出 Free Weights Club,Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
PyTorch 为 TorchTitan 引入 Zephon,一种弹性确定性数据加载方案,在训练任务内即时完成 tokenize、pack、shuffle 和 mix,无需预处理语料副本。
MIT 生物学助理教授 Pulin Li 团队与研究生 Nicholas Hutchins 发现每条信号通路会在细胞中留下跨细胞类型一致的基因活性指纹,据此开发机器学习模型 IRIS,可回溯胚胎细胞在发育各阶段接收的信号,论文于 9 月 8 日发表在 Nature Methods。
Microsoft AI 宣布完成 MAI-Base-2 预训练,这是一个 800 亿激活、2.8T 总参数的 MoE 基础模型,在 held-out 评测中 BPB 低于所测全部开源权重模型,预训练 FLOPs 效率比 DeepSeek-V4-Pro-Base 高 4.2 至 12.3 倍。
推荐理由:官方披露了 MAI-Base-2 的完整预训练方法,读者可以从中了解 scaling ladder、Muon 优化和多轮 dropless MoE 等可借鉴的工程细节。
Prime Intellect 与 NVIDIA 构建 2,500 个经验证的企业任务,用 GRPO 在 128 块 GB200 GPU 上训练约 11 小时,将 Nemotron 3.5 Super VL 在 AutomationBench-AA 公开分割上的得分从 34.0% 提升到 57.7%,相对提升 70%。
vLLM 让训练前向直接调用其推理 kernel 并改造这些高性能 kernel,使 rollout 与训练对每个采样 token 产生逐位相同的 logprob(diff = 0)。
Databricks 演示通过系统性性能优化,将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟,提速 6 倍。
推荐理由:原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果,读者可迁移到自己的 LLM 微调任务。
MIT McGovern 研究所与 ICoN 中心在 PNAS 发文提出,判断人工神经网络是否具备生物合理性,关键看它能否在没有开发者干预下自组织出学习机制。他们用随机互连的神经元样单元和简单连接规则,构建出能识别模式、分类图像的自组织网络,性能与依赖反向传播的网络相当。研究认为,若大脑确实使用类似的突触基元完成反向传播的功能,将为机器与大脑在基本机制层面建立强关联。
Modal 工程团队展示在 Qwen3.6-35B-A3B 的 agentic coding RL 训练中,用跨六种加速器(B200、B300、H100、H200。
Meta 工程团队介绍新一代生成式广告模型 GEM,将原先按 Facebook、Instagram、Reels 等各自独立的预测系统统一为单一中心基础模型,在全部广告表面和目标上带来 18.9% 转化提升和 12% CTR 提升。
Apple 研究团队在 150M 到 1.43B 四种模型规模、约 1000 次预训练实验中对比发现,混入高资源语言数据比超参数调优更有效,且优势随模型增大而扩大。混合数据带来的提升相当于 2–3 倍目标语言独有数据(验证损失)和 2–13 倍(下游任务准确率)。团队建议优先调整混合比例,并通过 μP 从小代理模型迁移超参数。
LTX 发布 LTX Trainer,把 LoRA 训练压缩成 LTX Explore 内的单一引导流程。支持 Character LoRA 和 Style LoRA 两种类型,只需选择类型、命名并设一个触发词,无需配置文件;训练前自动 QC 检查上传素材并默认排除运动模糊、遮挡等劣质片段。素材最低五分钟、无上限,训练后台运行并邮件通知,完成后可在平台内测试 30 天或导出下载。
蚂蚁 inclusionAI 在 GitHub 发布 BiDex-100,一个覆盖 106 个仿真任务的双臂灵巧操作基准,用于评测视觉-语言-动作(VLA)策略。该基准包含 8,080 条成功验证演示、6.25M 帧、58 维统一动作空间,并提供匹配的 ID/OOD 评测协议与 LeRobot v2.1/v3.0 数据集。
Baseten Base Labs 向 13B 模型 talkie(知识截止 1930 年)顺序写入 2011–2019 年的 20 条体育事实,每条训练一个 LoRA 并合并。
Flo Health 借助 Databricks AI Runtime 在无服务器 NVIDIA H100 GPU 上对开源模型做分布式微调,用 26 个 AI 评委(12 个医疗安全、6 个微观行为、8 个实用性)和超 15,000 条隐私优先合成问题构建训练信号,并采用监督微调加 DPO 的强化微调流程。
蚂蚁 inclusionAI 在 GitHub 开源 TorchTurbo,一个面向 SuperNode 的后训练分布式训练引擎,基于 PyTorch FSDP2 与 Hugging Face Transformers,融合 FSDP、专家并行(EP)和 Ulysses 序列并行(SP)。
Databricks 发布 Funke,一个 Python 和 PySpark 库加可部署 pipeline,可将 HL7v2 消息直接解析为原生 Spark 类型并保留完整层级结构。它是 2021 年开源的 Scala 数据源 Smolder 的继任者,支持所有 HL7 消息类型和版本,通过 Declarative Pipeline 摄取并存储在 Unity Catalog 中。
Hugging Face 工程师 yuvraj sharma 用 HuggingChat 的 ML Intern 模式在几天内做出 7 个模型,包括可在 CPU 运行、99.7% 有效输出的 0.8B 提示词重写器,以及将柑橘病害识别准确率从 14.9% 提升到 52.8% 的 Qwen3.5-2B 微调模型等,全部计算成本约 103 美元。
推荐理由:作者总结了预算控制、基线评测和冒烟测试等提示词写法,让 agent 自主完成数据构建、训练与发布,方法可直接迁移复用。
LlamaParse 以 Markdown 作为文档解析的默认输出格式,以保留标题层级、阅读顺序和表格结构,并在复杂表格中支持 HTML 表格(colspan、rowspan)与管道表格并存。
LlamaIndex 发布 2026 年 6 款最佳 OCR 文档管理软件对比,涵盖 LlamaParse、ABBYY FineReader、Amazon Textract、Google Cloud Vision、Microsoft Azure OCR 和 Hyperscience。
Cohere Labs 基于 32K 上下文长度的 Tiny Aya 基础模型,用数据混合策略训练出 Tiny Aya L2-Thinker,在 60 种语言上实现超 93% 的母语推理率。
Baseten Base Labs 复现并检验了近期关于 RL 训练轨迹近似直线、可通过线性外推替代完整 RL 运行的结论,发现其效果有限。
Fireworks 在 GLM 5.2 上做同一 RL 任务实验,训练端与 rollout 引擎概率计算不一致时 KL 约 0.013、每批约 45% 样本被丢弃,reward 在约第 20 步从 0.9 崩到 0.2 以下;对齐后 KL 为 0、reward 全程稳定。
Ai2 发布 Olmo-core 3,这是支持大规模混合专家(MoE)训练的开源框架,已验证可扩展至万亿参数级别。在 8 张 NVIDIA B300 GPU 上,47B 参数 MoE 吞吐达 52,000 tokens/秒/GPU,约为旧 FSDP 实现的 2.7 倍;专家池从 8 扩至 128 而训练吞吐下降不足 5%。
Apple 研究团队提出 SCLATE,一个让基准测试与未经修改的智能体各自通过适配器向同一开放事件调度器注册事件的执行基座,其混合模拟时钟可将长达一个月的场景压缩到数小时内运行。
上海人工智能实验室 InternLM 项目发布 ResOPD,一种仅用教师模型 Top-k 概率和学生采样 token 概率即可估计全词表 reverse-KL 梯度的稀疏在线策略蒸馏方法,教师传输量和前向次数与稀疏 OPD 持平。
MIT研究人员借助AI算法优化脂质纳米颗粒(LNP)的辅料配比,成功开发出耐热性更强的RNA疫苗配方。该配方使疫苗在室温下可稳定保存一年,或在37摄氏度下保存两个月,且在小鼠实验中产生的免疫反应与Moderna类似。AI算法通过少量实验数据快速收敛至最优解,将原本需数月的筛选过程缩短至几周。相关成果发表于《Nature Biotechnology》。
推荐理由:展示了AI在小数据集和复杂生物化学问题中的高效应用,显著加速了药物研发流程,具有明确的科学突破和实际应用价值。