Google 开源 TorchTPU:PyTorch 原生 Cloud TPU 后端,与 Meta 联合开发
Google 与 Meta 的 PyTorch 团队联合开发并在 PyTorch Conference 2026 上宣布开源 TorchTPU,让 PyTorch 通过 torch.device("tpu") 原生运行在 Cloud TPU 上,官方称其取代 PyTorch/XLA 并推荐用于所有新工作负载。
Google 与 Meta 的 PyTorch 团队联合开发并在 PyTorch Conference 2026 上宣布开源 TorchTPU,让 PyTorch 通过 torch.device("tpu") 原生运行在 Cloud TPU 上,官方称其取代 PyTorch/XLA 并推荐用于所有新工作负载。
RadixArk 的 SGLang 团队与 Google、Meta 合作开源 SGLang-TorchTPU,基于 Google 的 TorchTPU 让同一 SGLang 引擎可在 GPU 和 TPU 上提供生产级服务。
同一件事,精选收录的是《Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎》
瑞典推理服务商 Berget AI 联合 Stockholm Environment Institute、WattTime 和 Klimatkollen 发布开源方法,可计算每个 AI 请求的碳排放,遵循 Green Software Foundation 的 SCI for AI 规范,代码以 MIT 许可发布在 GitHub,并提供 co2.berget.ai 计算器。
DeepSeek 以 Apache 2.0 许可证开源了支撑其生产服务的 DeepInfer 推理框架,并另以 MIT 许可证发布词元编解码层 deepseek-recipe。
🚀 隆重推出 DeepInfer,我们自研的推理框架,现已完全开源! 以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash。我们分享生产环境技术栈,帮助社区降低计算成本、减少能源消耗,让 AI 更可负担。 🔗 http://github.com/deepseek-ai/DeepInfer 1/4
同一件事,精选收录的是《DeepSeek 全面开源内部推理框架 DeepInfer》
AIPOCH 发布开源的 Open-Science,一款 Apache-2.0 桌面工作台,把 Claude Code、Codex、OpenCode 或 CodeBuddy 等编码智能体变成科研助手。
DeepSeek 以 Apache 2.0 许可开源了支撑其生产服务的推理引擎 DeepInfer,8 小时获得 6.3K+ stars。
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,此前已开源大模型、TileLang 编译工具及推理算子库。DeepInfer 集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,兼容英伟达与华为昇腾平台,已支撑 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,并同步开源生产级 Token 编解码组件 deepseek-recipe。
推荐理由:DeepSeek 将内部推理框架全面开源,给出仓库地址和兼容平台,开发者可据此优化大规模推理的成本。
同一件事,精选收录的是《DeepSeek 全面开源内部推理框架 DeepInfer》
蚂蚁百灵宣布开源 Ming-3.0 语音系列,共五款模型,覆盖语音合成、音频理解与对话、语音识别三类能力,开发者可按任务选用或组合进工作流。
蚂蚁 inclusionAI 在 GitHub 发布 Ming-3.0-asr-tiny,将 Ling-tiny-v3 语言模型与音频编码器结合,支持中英文转写、方言识别和上下文 ASR。
AWS 宣布推出 TorchNeuron,一个面向 Trainium 的开源原生 PyTorch 后端,10 月 20 日以 Apache 2.0 协议在 PyTorch Conference North America 开启公测。
推荐理由:原文给出 TorchNeuron 的架构、执行模式和兼容性测试数据,开发者可据此评估把现有 PyTorch 工作流迁到 Trainium 的成本。
NVIDIA 将 Run:ai 平台完整开源,源码以 Apache 2.0 协议发布在 GitHub,平台团队可检视、fork 和自托管而无需付费订阅。
Mistral AI 发布时序基础模型家族 Timestral,包含 5M、28M、123M、209M 四个零样本预测模型,209M 版在 GIFT-Eval、TIME 和 fev-bench 上位居零样本预训练模型第一,fev-bench SQL skill score 为 50.39,超过 Google 的 TimesFM-3 的 48.99。
Google Cloud AI Research 开源 Harness²(v0.1.0,Apache-2.0),一个递归式 Agent harnessing 框架,在模型权重冻结的情况下迭代优化提示词、工具、记忆、技能等 8 个 harness 组件。
Perplexity 开源 SPACE(Sandboxed Platform for Agentic Code Execution),即 Perplexity Computer 每个 Agent 任务背后的沙箱平台,每个任务运行在独立 Firecracker microVM 中,凭证和出站流量控制在虚拟机之外,代码以 Apache 2.0 协议发布在 GitHub。
Our next generation of open weights multimodal decision models comes in two sizes, pplx-decider-v1.2 and pplx-decider-flash-v1.2. Text and vision scores improve. Inference is up to 5x faster: all questions in a request run in one pass. Flash is the top 4B on the Decision Index.
Reflection 发布首个开源权重模型 Beam,权重已在 Hugging Face 以 Apache 2.0 协议放出。Beam 为稀疏 MoE 模型,总参数 501B、激活 23B,面向编码、推理和长程智能体任务,提供 BF16、FP8、NVFP4 精度权重和投机解码 drafter 模型。
腾讯混元于 10 月 16 日宣布智能体记忆框架 Hy Memory 升级 2.0,开源专用模型 Hy-Memory-30A3B、记忆框架和本地应用 MemHub,三者可独立使用或组合成完整 Memory 方案。
小米发布开源空间音频理解大模型 MiDashengLM-Spatial,完整公开模型权重和推理代码,采用 Apache 2.0 许可证。模型以 MiDashengLM-7B 为基座,在保留基础音频理解能力的同时增加空间感知与推理能力,小米称其为业界首个开源的端到端空间音频理解大模型,将陆续应用于智能家居和汽车座舱场景。
Meta 开放 Muse Spark Open 权重,模型上线 Baseten Model APIs 和 Dedicated Inference。
Muse Spark Open -- 权重今天发布 -- 得益于与 @johnternus 和 Apple 的合作,在新款 Mac Studios 上运行效果极佳。
Muse Spark Open -- 权重今天发布 -- 得益于与 @johnternus 和 Apple 的合作,在新款 Mac Studios 上运行效果极佳。
推荐理由:作者解释了为什么沙箱本身是 commodity 而生产级规模化才是难点,开源平台可用于自建企业级 Agent 基础设施。
Muse Spark Open —— 权重今天发布 —— 得益于与 @johnternus 和 Apple 的合作,在新款 Mac Studio 上运行效果极佳。
Step 5 Preview 来了。 @StepFun_ai 的新开放权重模型树立了新的帕累托前沿,在 @ArtificialAnlys 智能指数上与 Kimi K3 持平! 它为长时程智能体工作而打造,在软件工程和专业知识工作(尤其是金融)方面取得了前沿级成果。 - 600B 稀疏 MoE,每 token 激活 27B - 据 Artificial Analysis,每任务成本约为 Claude Opus 5.5 的 1/6 现已在 Featherless 上线,以 FP8 提供服务。 https://featherless.ai/model-pages/step-5-preview
推荐理由:引用内容给出 Step 5 Preview 的参数规模、成本对比和部署入口,读者可据此评估其性价比与获取方式。
阶跃星辰开放 Step 5 Preview 模型权重,含 BF16 与 FP8 两个版本,已上线 Hugging Face 和 ModelScope,可通过 vLLM、SGLang 部署兼容 OpenAI 接口的服务或用 Transformers 离线推理。
阶跃星辰(StepFun)宣布 Step 5 Preview 开放权重,BF16 和 FP8 权重已上线 Hugging Face 和 ModelScope,并附技术博客。
推荐理由:官方公告直接给出权重规格和下载入口,需要开源 MoE 权重的读者可据此评估是否纳入自己的工作流。
昆仑万维发布可在单张 NVIDIA RTX 5090 上实时运行的视频大模型游戏 Matrix-Game 4.0,提供 480p、60 FPS 体验,按键到画面反应延迟低于 150 毫秒。
阶跃星辰正式开放 Step 5 Preview 模型权重,提供 BF16 与 FP8 版本,已上线 Hugging Face 和 ModelScope。
同一件事,精选收录的是《阶跃星辰开放 Step 5 Preview 权重》
蚂蚁百灵正式开源 Ling-3.1-flash,总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文,权重可在 Hugging Face 和 ModelScope 获取。
推荐理由:官方开源 560B 级模型并给出量化后 4 卡部署、价格与公开评测数据,可供自部署团队评估能力与算力成本。
昆仑万维于2026年10月15日发布 Matrix-Game 4.0,称其为第一款运行在单张消费级显卡上的视频大模型游戏,并同步开源。
推荐理由:原文给出具体硬指标与三模块架构,还对比了同类方案的延迟和算力门槛,读者可据此评估这条实时世界模型路线的落地价值。
Fish Audio 发布开源权重 TTS 模型 Drama 3,总参数 35B、每 token 约 3B 激活,权重已在 Hugging Face 开放并可接入 Fish Audio API。
蚂蚁百灵正式开源 Ling-3.1-flash,权重可在 Hugging Face 和 ModelScope 获取。模型总参数约 560B、每 Token 激活约 25B、最高支持 1M 上下文;经 MXFP4 与 block-FP8 量化后权重占用从约 534GB 降至 292GB,Hopper GPU 测试中服务部署由 8 卡降至 4 卡。
推荐理由:官方开源公告给出权重入口、Artificial Analysis 与 Design Arena 评测数据和 4 卡部署实测,便于评估自部署可行性。