Together AI 指南：如何为生产环境选择合适的开源模型
Together AI 发布生产环境开源模型选型指南。文章给出按闭源模型档位对应的参数规模起点（高档至少 300B、中档 70–250B、低档小于 32B），对比 DeepSeek、Kimi、Qwen、GLM、Llama、Gemma、Mistral 等模型族的许可证与来源，并介绍成本、速度、质量的权衡，LLM-as-a-judge 评估流程与 LoRA SFT、DPO 等微调适配方法。
#部署/工程
Together AI 研究与产品博客AI 评分5454
Liquid AI 模型与工程博客AI 评分5656 Liquid AI 发布 LFM2-2.6B-Transcript，支持完全端侧的会议转录摘要
Liquid AI 发布 LFM2-2.6B-Transcript，一个面向 30-60 分钟长会议转录摘要的端侧专用模型，已在 LEAP 和 Hugging Face 开放下载。
xAI：News精选 xAI推出Grok Business与Enterprise企业版
xAI发布Grok Business和Grok Enterprise企业版。Business版定价30美元/座位/月，支持自助开通，提供团队管理、统一账单及Google Drive集成（保留原文件权限），并承诺用户数据永不用于模型训练。Enterprise版面向大型组织，提供Custom SSO、Directory Sync及高级审计控制；可选的Enterprise Vault插件提供独立数据平面与客户自管加密密钥(CMEK)，实现应用级加密隔离。平台支持实时使用监控、安全对话共享及Projects功能。
推荐理由：xAI 推出 Grok 企业版，主打隐私保护与 Agent 能力，月费 30 美元起
Modal 官方工程博客AI 评分5959 Modal 分享 2 万+ GPU 规模的可靠性保障体系
Modal 官方博客公开其管理超过 20,000 块并发 GPU 的可靠性系统，覆盖云实例选型测试、机器镜像准备、实例启动检查、被动与主动健康检查、可观测性与支持全流程。
OpenRouter：AnnouncementsAI 评分5050 利用NeMo Data Designer构建可蒸馏模型与合成数据管道
NVIDIA推出NeMo Data Designer工具，帮助企业生成合规的合成数据工作流，用于定制化大模型训练。该工具通过创建“许可证安全”的合成数据，规避版权风险，并支持构建可蒸馏的轻量级模型。它为在特定领域数据受限的企业提供了端到端的合成数据生成与管理解决方案，助力模型高效微调与优化。
LMSYS Blog SpecBundle与SpecForge v0.2发布：生产级投机解码模型与框架
SpecForge团队联合蚂蚁、美团、Nex-AGI与EigenAI发布SpecBundle第一阶段及SpecForge v0.2框架。SpecBundle提供基于大规模数据集训练的生产级EAGLE-3草稿模型，覆盖Llama-3.1/3.3/4、Qwen3、Kimi-K2等十余种主流架构，解决开源社区高质量草稿模型稀缺问题。SpecForge v0.2重构数据处理管道，数据再生速度提升10倍，并新增多后端支持，进一步增强系统可扩展性与生产就绪能力。
xAI：News精选 以 AI 支持 DOW 的使命
xAI 被美国战争部（DOW）选中，为其 GenAI.Mil 套件提供 Frontier AI 系统。基于 Grok 模型的解决方案将覆盖 DOW 旗下 300 万军事和文职人员，支持 Impact Level 5（IL5）级别的企业 AI 和关键任务用例，可嵌入从五角大楼到战术边缘的日常工作流，并支持机密作战工作负载。DOW 用户还可独家获取 X 平台实时全球洞察。
推荐理由：xAI获美国国防部大单，Grok将覆盖300万军事人员并提供实时情报支持
xAI：News Grok 发布 Collections API
Grok 推出 Collections API，支持上传 PDF、Excel、代码库等文件构建知识库，提供语义、关键词及混合搜索三种检索方式，帮助开发者零基础设施构建 RAG 应用。首周文件索引与存储免费，检索定价 $2.50/千次。基准测试显示，其在金融（93.0%）、法律（73.9%）、编码（86%）场景的检索准确率均优于 Gemini Pro 3 和 GPT 5.1。
Claude Platform：开发者版本说明AI 评分4040 Claude Platform 宣布弃用 Claude Haiku 3.5 模型
Claude Platform 在 12 月 19 日的版本说明中宣布弃用 Claude Haiku 3.5 模型。用户需关注模型弃用页面以了解后续迁移安排。
Sierra：BlogAI 评分4242 Sierra 推出 Workspaces：让 AI 智能体开发团队实现并行协作与安全发布
Sierra 发布 Workspaces 功能，为 AI 智能体开发引入“多人模式”。团队可在代码和无代码环境中并行构建、全面测试、安全合并，并在完全可控下发布。该功能旨在解决开发速度与系统稳定性之间的平衡问题。
LMSYS Blog SGLang实现扩散LLM框架：支持LLaDA 2.0-flash
Ant Group DeepXPU团队与SGLang团队合作，在SGLang推理引擎中实现了扩散大语言模型（dLLM）框架，为100B参数的LLaDA 2.0-flash提供首日支持。该方案复用现有Chunked-Prefill机制适配Block Diffusion架构，通过修改prefill adder和chunked reqs组件实现多Diffusion Blocks批处理，无需改动SGLang核心即可继承生产级推理优化，并支持用户灵活定制扩散解码算法。
OpenRouter：Announcements精选AI 评分5757 OpenRouter 推出 Response Healing：将 JSON 缺陷减少 80% 以上
OpenRouter 推出 Response Healing 新功能，可在响应到达应用前自动修复大语言模型产生的格式错误的 JSON，从而将 JSON 缺陷减少 80% 以上。
推荐理由：如果你无数次被 LLM 返回的残缺 JSON 搞到崩溃，OpenRouter 这个 response healing 能自动修复 80% 的缺陷，以后 debug 可以少肝半小时。
OpenRouter：AnnouncementsAI 评分5454 OpenRouter 12月发布亮点：结构化输出响应修复、聊天室通知与长上下文模型排名
OpenRouter 推出结构化输出的响应修复（Response Healing）功能，新增聊天室通知，发布长上下文模型排行榜，并位列 Brex 增长最快 AI 基础设施榜单第一。
OpenRouter：AnnouncementsAI 评分4040 OpenRouter 十二月发布：响应修复、聊天室通知、长上下文模型排名，登顶 Brex 最快增长 AI 基础设施榜单
OpenRouter 十二月版本更新引入响应修复（Response Healing）机制以提升结构化输出可靠性，新增聊天室通知功能，并推出长上下文模型排名。此外，OpenRouter 在 Brex 评选的增长最快 AI 基础设施公司榜单中位列第一。
OpenRouter：AnnouncementsAI 评分4040 十二月发布亮点
Anthropic 在十二月多项更新中重点推出结构化输出的 Response Healing 功能，可自动修复格式错误。平台新增聊天室通知系统，并发布长上下文模型性能排行榜，Claude 3.5 Sonnet 在 200K 上下文评测中领先。公司同时宣布其 AI 基础设施在 Brex 年度榜单中位列增长最快首位。
OpenRouter：Announcements精选AI 评分6161 Response Healing：将 JSON 缺陷减少 80% 以上
OpenRouter 推出新功能 Response Healing，可在 LLM 生成的畸形 JSON 响应抵达用户应用前自动修复。该功能旨在将 JSON 格式错误减少超过 80%，直接提升 API 响应的结构完整性与可靠性，减少下游应用的处理负担。
推荐理由：做 Agent 的人最怕 JSON 解析炸掉整个 pipeline，OpenRouter 这个 Response Healing 相当于在网关层加了自动纠错，接入成本几乎为零，值得试试。
Google DeepMind：Blog精选 Gemini 3 Flash：专为速度打造的前沿智能
Gemini 3 Flash 正式发布，在大幅降低使用成本的同时提供前沿级智能，主打极速推理性能，为需要快速响应的 AI 应用提供高性价比选择。
推荐理由：Google发布Gemini 3 Flash轻量模型，兼顾前沿性能与推理速度
Together AI 研究与产品博客AI 评分5252 Together AI Dan Fu 撰文认为 AGI 不会撞上硬件墙
Together AI 内核研究负责人 Dan Fu 发文《Yes, AGI Can Happen – A Computational Perspective》，反驳 AI 正逼近数字计算极限的说法。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分4949 inclusionAI/AEnvironment
inclusionAI 发布了 AEnvironment，这是一个用于智能体 AI 开发的标准化环境基础设施。该平台旨在为 AI 智能体的构建、测试和部署提供统一、可复现的环境，解决开发过程中因环境差异导致的兼容性与一致性问题。它通过预配置的标准化设置，简化了开发流程，提升了协作效率与系统可靠性。
LMSYS Blog SGLang 首日支持 MiMo-V2-Flash 模型
小米发布 MiMo-V2-Flash 推理模型，SGLang 提供首日支持。该模型拥有 309B 总参数和 15B 激活参数，采用滑动窗口注意力（SWA）和 3 层多级 MTP 设计，将注意力复杂度降至线性并提升解码效率。通过硬件感知配置平衡计算与内存，在 H200 上即使 64K 长上下文仍保持 150 TPS 单请求吞吐量。SGLang Spec v2 实现完全重叠 MTP 调度，隐藏 CPU 开销并减少 GPU 气泡，最大化硬件利用率。
通义 QwenAudio：原创语音项目精选AI 评分6060 通义实验室开源 Fun-ASR 系列语音识别模型，含方言与 31 语言版本
通义实验室发布 Fun-ASR 端到端语音识别模型系列并开源。Fun-ASR-Nano-2512 参数量 800M，基于数千万小时语音训练，支持中英日三语、7 种汉语方言和 26 种地方口音；Fun-ASR-MLT-Nano-2512 同为 800M，基于数十万小时训练，支持 31 种语言。
推荐理由：原文给出两个识别模型的训练规模、语言覆盖和开源基准对比，还附部署与推理路径，读者可据此评估在中文和方言场景的可用性。
LMSYS Blog SGLang 首日支持高效开源 Nemotron 3 Nano 混合 MoE 模型，NVFP4 精度版本采用 Quantization-Aware Distillation 技术在 B200 上实现 4 倍于 FP8-H100 的吞吐量
SGLang 宣布首日支持 NVIDIA 开源的 Nemotron 3 Nano 模型。该模型采用 Transformer-Mamba 混合 MoE 架构，总参数 30B 但仅激活 3.6B，支持 1M 上下文长度。最新 NVFP4 版本通过 Quantization-Aware Distillation 技术在保持精度的同时，在 B200 上实现相比 FP8-H100 4 倍的吞吐量。模型提供 BF16、FP8、NVFP4 三种精度格式，并支持"思考预算"功能以减少过度推理，适用于 RTX Pro 6000、DGX Spark、H100 等 GPU。
Cohere 产品与研究博客AI 评分5454 Cohere 发布 Rerank 4 重排序模型，含 Fast 与 Pro 双版本并引入 Self Learning
Cohere 发布 Rerank 4 重排序模型系列，称在整体搜索相关性上优于 MongoDB 的 Voyage 模型和 ElasticSearch 的 Jina rerankers。
Manus：BlogAI 评分5252 Manus Web App 推出内置高级 SEO 功能，自动预渲染助力搜索引擎收录
Manus 为 Web App 推出内置高级 SEO 功能，自动为爬虫生成预渲染的静态 HTML 版本，人类访客仍获得原有动态交互体验。功能包括自动预渲染、自动生成规范 URL、robots.txt 和动态站点地图、逐页 SEO 评分仪表板，以及一键 AI 优化元描述、标题和图像 alt 文本。
LMSYS Blog 让张量飞起来 —— 用 R-Fork 加速大模型权重加载
蚂蚁集团 DeepXPU 团队与 SGLang 团队联合发布 Tensor R-Fork（Tensor Remote Fork）技术，通过 GPU-Direct RDMA 实现节点间设备到设备的零拷贝权重传输。该技术可将 Deepseek-R1 模型的加载时间从数分钟缩短至数秒，减少约 600GB 的本地磁盘与 DRAM 存储占用，并提供 NCCL 和 TransferEngine 两种后端方案，后者可在不干扰线上推理服务的情况下完成权重迁移。
蚂蚁 inclusionAI：GitHub 新仓库AI 评分5252 蚂蚁 inclusionAI 开源通用 RL 状态数据管理系统 AState
AState 是蚂蚁 inclusionAI 开源的通用 RL 状态数据管理系统，已在内部 ASystem 中部署，支持万亿参数规模权重同步仅需约 6 秒，远优于行业分钟级延迟。系统提供统一张量级 API，具备单边读写语义（put/get/multi_put/multi_get/complete），架构分为 API 层、服务层和传输层，实现拓扑感知调度、RDMA 零拷贝传输、零冗余张量分片。RL 原生状态管理（进行中）包括 KV 缓存持久化与恢复、激活缓存卸载、智能体多轮对话与工具调用状态的缓存恢复。
蚂蚁 inclusionAI：GitHub 新仓库精选AI 评分6363 蚂蚁集团开源AState：面向强化学习的高性能状态管理系统
蚂蚁集团开源了AState，这是一个专为强化学习设计的高性能通用状态数据管理系统。它旨在解决RL训练与推理中的I/O效率低下、权重同步性能不足及状态恢复不鲁棒等核心挑战。系统采用三层架构：提供张量原生接口的API层、支持多种部署模式的服务层以及具备高效可扩展传输能力的基础层。其关键特性包括统一的张量级API、高性能权重同步和拓扑感知设计。在万亿参数规模下，AState能在约6秒内完成权重同步，远低于业界常见的分钟级延迟，目前已作为ASystem的关键组件在蚂蚁内部生产环境部署。
推荐理由：蚂蚁把万亿参数 RL 训练的权重同步从分钟级压到 6 秒，这套 AState 系统是真刀真枪的工程解法，做大规模 RL infra 的团队值得拆一拆它的 RDMA P2P 架构。
Modal 官方工程博客AI 评分5252 Modal 为 Mistral 3 提供 Day 0 支持，GPU 快照将冷启动时间从约 118 秒降至约 12 秒
Modal 宣布为 Mistral 发布的开放模型家族 Mistral 3 提供 Day 0 支持，可用 vLLM 直接部署 Ministral 3（3B、8B、14B）。
LMSYS Blog 加速 SGLang 推理：原生集成 NVIDIA Model Optimizer 实现无缝量化与部署（12月2日更新）
SGLang 最新版本原生集成 NVIDIA Model Optimizer，支持通过直接 API 调用实现模型量化与部署。新功能将原本复杂的多步骤流程简化为量化、导出、部署三步，支持 NVFP4、MXFP4、FP8 等低精度格式。与原始 FP8 基线相比，优化后的模型在 Blackwell 架构上可实现高达 2 倍的每 GPU 吞吐量提升，显著降低延迟与内存占用。
Together AI 研究与产品博客AI 评分5252 Together AI 推理速度登顶多款开源大模型，最快提升至竞品 2 倍以上
Together AI 宣布在 Artificial Analysis 多项独立基准中，输出速度位居 GPU 推理服务商第一，覆盖 GPT-OSS-20B/120B。
LMSYS Blog 从研究到生产：在Vertex AI上用EAGLE-3加速开源大模型
Vertex AI团队推出基于EAGLE-3的推测解码加速方案，通过为目标模型（如Llama 70B）添加仅占2-5%参数量的轻量级draft head，取代传统独立draft模型，实现2-3倍解码速度提升。文章详述了从研究到生产的完整工程链路：构建合成数据生成管道解决版权与PII问题，采用离线训练策略预计算embeddings，并强调chat template匹配、mask设置及SGLang服务框架选型的关键作用，最终解决CPU瓶颈问题实现规模化部署。
Together AI 研究与产品博客精选AI 评分6464 Together AI 上线 Black Forest Labs 的 FLUX.2 多参考图生图模型
Together AI 将 Black Forest Labs 的 FLUX.2 图像模型接入 Model Library，面向 100 万以上开发者提供多参考输入、hex 色号颜色匹配和文本渲染能力。
推荐理由：原文列出了多参考输入、hex 色号匹配和三个型号的具体参数，读者可据此判断是否接入现有生成工作流。
TransluceAI 评分5757 Transluce 发布研究：从 LLM 内部激活中规模化提取用户模型
Transluce 提出规模化提取 LLM 内隐用户模型的方法，构建了最多 109,514 条样本的 SynthSys 等数据集，并训练 LatentQA 解码器从内部激活中读取模型对用户的隐含推断。
LMSYS Blog 统一 FP8：超越混合精度，实现稳定且加速的 MoE RL
InfiXAI、Ant Group AQ、SGLang RL 与 Miles 团队联合实现了端到端 FP8 强化学习训练与采样方案。实验表明，MoE 模型在使用 BF16 训练与 FP8 推理时，规模越大训练-推理差异越显著；统一采用 FP8 进行训练和推理可有效消除量化误差导致的不一致性，显著提升训练速度与稳定性。该方案已支持 Qwen3-4B 和 Qwen3-30B-A3B 模型，并在 miles 框架中开箱即用。
xAI：News精选 Grok 与沙特阿拉伯达成全国性部署合作
xAI 与沙特阿拉伯及 PIF 旗下 HUMAIN 签署框架协议，将在沙特建设超大规模 GPU 数据中心，并全国范围内部署 Grok 至 HUMAIN ONE 平台，为政府和企业提供实时智能与自主工作流。这是 Grok 首次在国家层面全面落地。
推荐理由：xAI与沙特达成国家级合作，将全国部署Grok并建设超大规模AI算力基础设施
LlamaIndex：产品、工程与评测AI 评分4949 LlamaIndex 如何为智能体文档工作流构建可观测性
LlamaIndex 用 Agent Workflows 搭建金融文档分类与抽取流程，结合 OpenTelemetry 和 Jaeger 实现全链路追踪。Agent Workflows 的逐步事件驱动架构天然映射 OpenTelemetry 的 span 与 trace 模型，可追踪分类、抽取、验证、合成每一步，并支持派发自定义事件。
LMSYS Blog RadixArk发布Miles：面向大规模MoE训练的企业级强化学习框架
RadixArk团队发布企业级强化学习框架Miles，专为大规模MoE训练设计。该框架基于曾支撑GLM-4.6训练的slime构建，首创True On-Policy技术，实现训练与推理零KL散度对齐。新版本引入在线草稿模型推测解码，rollout加速超25%，并针对GB300等新硬件优化内存管理，支持Flash Attention 3与DeepGEMM。框架采用模块化架构，四大核心组件完全解耦，兼顾研究灵活性与企业级稳定性。
Inception Labs：Blog精选AI 评分6262 Inception Labs 的 Mercury 扩散大语言模型上线 Azure AI Foundry
Inception Labs 宣布 Mercury 上线 Azure AI Foundry，将其称为首个商用规模的扩散大语言模型（dLLM）。该模型采用扩散架构并行生成多个 token，推理速度最高达可比自回归模型的 10 倍，官方称其在知识、编码、指令遵循和数学基准上与 Gemini 2.5 Flash、Claude 4.5 Haiku 相当。
推荐理由：原文给出扩散架构的并行生成原理、与同类模型的延迟和基准对比及许可定价，读者可据此评估实时应用的部署价值。
Claude Platform：开发者版本说明AI 评分5959 Claude 登陆 Microsoft Foundry，Azure 用户可通过 OAuth 调用完整 Messages API
Anthropic 将 Claude 模型引入 Microsoft Foundry，Azure 客户可使用 Azure 计费和 OAuth 认证。该集成支持完整 Messages API，包括扩展思考、5 分钟和 1 小时提示缓存、PDF 支持、Files API、Agent Skills 及工具调用。
LlamaIndex：产品、工程与评测AI 评分5454 LlamaIndex 开放预览 LlamaAgents：构建、服务与部署文档智能体
LlamaIndex 宣布 LlamaAgents 进入开放预览，将 LlamaParse 的文档处理能力与 Agent Workflows 的编排能力结合，主打文档抽取智能体。