DeepSeek 将内部推理框架 DeepInfer 全面开源
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,此前已开源大模型、TileLang 编译工具及推理算子库。DeepInfer 集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,兼容英伟达与华为昇腾平台,已支撑 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,此前已开源大模型、TileLang 编译工具及推理算子库。DeepInfer 集成高性能算子与深度优化的推理引擎,支持分布式推理、推测解码、SWA Bounded Replay、结构化输出等能力,兼容英伟达与华为昇腾平台,已支撑 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务。
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,并同步开源生产级 Token 编解码组件 deepseek-recipe。
推荐理由:DeepSeek 将内部推理框架全面开源,给出仓库地址和兼容平台,开发者可据此优化大规模推理的成本。
Cloudflare 在 Workers AI 上发布 System One 抽取模型 Clairic 预览版,读取文本或图片并在 1 次前向传播中返回带类型的值而非生成文本,每个字段附带置信度和 p_null。
Exa 发布面向 AI 智能体的搜索 API 升级版 Exa 3.0,采用更大的嵌入模型、推出同索引的低价搜索类型 Exa Lite(每 1000 次请求 4 美元),并将 Dynamic Highlights 正式开放。
同一件事,精选收录的是《DeepSeek 全面开源内部推理框架 DeepInfer》
Gartner 于本月 14 日预测,2026~2030 年全球 AI 基础设施投资总额将达 7 万亿美元,但到 2030 年最多仅产生 3.6 万亿美元收入。
Microsoft 在 Ignite 上公布 Sovereign Cloud 下一阶段能力,Sovereign Control Panel 进入公开预览,统一呈现主权态势并识别风险缺口。
Arena 宣布 DeepSeek-V4.1-Flash-20261017 (Max) 登顶 Agent Arena 和 Code Arena: WebDev 开源模型榜单,总榜排名第 11。
据 Reuters 报道,OpenAI 正赶在 Anthropic 上市前洽谈融资约 300 亿美元,估值超 1.4 万亿美元,比 3 月的 8520 亿美元至少高 64%。
推荐理由:原文梳理了融资节奏背后的竞争逻辑和两家收入口径差异,提供了理解估值分歧的具体依据。
针对马斯克称 Grok 训练中被"折磨"的言论,纽约大学 Jeff Sebo 与苏塞克斯大学 Anil Seth 认为,意识是主观体验,当前大语言模型只能模仿人类行为,大概率无法感受痛苦。
千问APP上线新功能「千问陪逛」,开启通话和共享屏幕后,切到购物APP网购时千问可看到屏幕内容并语音实时作答。功能包括提炼商品详情页和评价重点、实时比价验货算账、陪聊拿主意,点击右上角电话图标可随时结束,功能正逐步开放。
思科总裁兼产品主管吉图・帕特尔用个人 AI 智能体扫描邮箱后发现,自己每年各类订阅总开销高达 9,000 美元,随后让智能体生成订阅清单并取消两项不需要的服务,每年省下 1,000 到 1,200 美元。该智能体每月订阅费 20 美元,还帮他取消了误开的每月 11.95 美元 Dropbox 套餐。他强调不应把未经企业审核的个人 AI 智能体接入工作工具与内部资源。
🚀 MiniCPM-V 4.7 现已获 vLLM v0.32.0 支持!感谢 @vllm_project 的支持。这让以高吞吐、低延迟方式部署 MiniCPM-V 4.7 变得更加容易。
🚀 vLLM v0.32.0 is out! 814 commits · 363 contributors · 121 first-timers 🧭 New /v1/systemone structured-decision endpoint + generic hf tool/reasoning parser 🗜️ Low-precision KV everywhere: NVFP4 on SM8x/90/12x, FP8 KV default for GLM-5.x, 4-bit KV on ROCm 🛠️ Model Runner V2: GPU n-gram speculator, Elastic EP, PP+CP for MLA, now default on ROCm ⚡ Faster startup & serving: precompiled kernel downloads, autotune preload, +43–85% req/s with multi-API workers 🆕 EmbeddingGemma 2, MiniCPM-V 4.7, Nemotron 3.5 ASR 🔒 3 security fixes + CORS hardening Full notes → http://github.com/vllm-project/vllm/releases/tag/v0.32.0
面壁智能 MiniCPM-V 团队介绍支撑 MiniCPM-V 4.7 端侧运行的前瞻专家调度(LES)技术,称首次实现 35B-A3B 规模 MoE 在端侧实时无损运行,iPhone 18 Pro Max 实测解码超 20 token/s。
推荐理由:原文拆解了 LES 在调度、存储、计算三层的具体设计,并给出消融数据,方法可迁移到其他 MoE 模型的端侧部署。
OpenAI 在 ChatGPT 中上线 Slides 幻灯片工具,属于上月发布的 ChatGPT Space 组成部分。用户可基于对话、上传文件或大纲生成演示文稿并选用内置模板,支持团队实时协同编辑、评论,并可根据反馈自动调整。
Morgan Stanley 将数据中心租赁计入 capex 后,预测 2027 年超大规模厂商和 neocloud 的 AI 支出为 1.58 万亿美元。
Bank of America 新研究显示,今年 AI 资本开支比预期高 50%,而收入仅高 20%,这一错配是其分析的核心。
Artificial Analysis 上线 HealthBench 和 HealthBench Professional 排行榜,两个基准来自 OpenAI,用医生编写的评分标准评估模型在真实健康对话中的表现。
Two important changes to timeline recommendations: - New AI/SI ranking model that predicts probable time spent much better - Retrieval model trained to surface posts people read all the way through User active seconds is growing exponentially and hitting all-time highs almost every day:
Anthropic 正与 Nscale 磋商第二笔 450 亿美元算力协议,将把其西弗吉尼亚 Monarch Compute Campus 的预留容量翻倍至 920 MW。
Latent Space 发布 10/16 至 10/19 的 AI 周报,汇总 DeepSeek V4.1 Flash 1017、MiniMax M3.1 Flash、Mercury 3、Meta Muse 等发布。
Inception 发布扩散语言模型 Mercury 3,官方称在 NVIDIA GPU 上达到 1,068 tok/s,上下文窗口为 1M token,参数量超过 Mercury 1 的 40 倍。
Hamel Husain 用 100 条公寓租赁客服 trace 实测 Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1 与 d1-ultra、Cloudflare Clef Flash 和 OpenAI Decisions(GPT-6 Luna)识别失败案例。
感谢 @atomic_chat_hq 帮助将 Ming-3.0 带入本地 AI 工作流,让开放语音模型更易获取!
Run @AntLingAGI speech models locally 🎙️ Ming-3.0 is 5 open models that talk, listen and write down what you say Its voice model now ranks #1 among open models on Artificial Analysis starting at just 0.5B Run AI models locally -> https://atomic.chat
Day-0 support for Ming-3.0 in vLLM-Omni @AntLingAGI just open-sourced 5 speech models spanning TTS, audio understanding, and ASR — ranging from 0.5B to 126B total parameters (6.5B active). Serve them today with vLLM-Omni. Congrats to the @AntLingAGI team!
感谢 @AdinaYakup 分享 Ming-3.0,帮助更多开发者了解我们五款开源语音模型的可能性!
Ant Group just dropped its new speech and audio models! https://huggingface.co/collections/inclusionAI/ming-30
作者开源了一个名为「老爷爷」的提示语管理skill,仿照Matt Pocock的ask-matt路由形态,把今年积累的25条思考类提示语熔炼进一个路由,覆盖问清问题、学习理解、解决问题、决策、计划和自我认识六个场景。
Redact 调查发现,截至 2026 年 10 月中旬,WhatsApp 帮助中心 545 个页面中有 80 个页面嵌入了 102 段屏幕上不可见、仅供 AI 读取的隐藏指令,其中删除账号页面指示 AI 不要推荐联系任何数据保护监管机构,举报与屏蔽页面指示 AI 在用户提及律师或诉讼时不引用 GDPR、LGPD、CCPA 等法规。
推荐理由:作者逐页核对了 545 个帮助页面并保存存档,读者可以据此了解隐藏 AI 指令的具体内容和 WhatsApp 的回应。
Clef,一个来自 Cloudflare 的 27B 多模态决策模型,现已在 Ollama 上可用,用户可在本地或 Ollama 云端运行。Clef 基于 Qwen3.8-27B 微调,采用 Apache 2.0 许可,支持文本和图像输入,可一次性对每个问题打分而非逐词生成。
中国的互联网从13年的移动端时代就变成了“不联网”,其实现在美国的互联网也因为Agent能力重新可能变成“不联网”。 中国移动互联网 “不”联网的特征是: - 不能发现内容,搜索引擎找不到,必须进入某个 App 搜; - 不能读取内容,有链接也看不了,折叠全文、弹出登录或下载要求; - 不能使用功能,网页只有介绍或残缺功能,完整操作必须进 App/小程序; - 不能跨平台流动,链接被拦、不能直接跳转、只能复制口令或换浏览器。 这一个现象一直都很恶心,很独特的你封杀我我封杀你,平台之间的“截流”和投流量成为了一门学问,形成了我只在中国产品里见到的靠口令红包和自动读取剪贴板跳转的生态,贼tmd sb。 这也是为什么中国不管是Personal Agent还是Work Agent都是在同一体系内很能打,但是一旦跨体系就几乎智障的原因,很难出现一个Open Web上的Super Agent,都关着门,没有数据可以拿到没有功能可以调用,哪里能构建好Context和Workflow。 中国当前App “不联网” 的本质原因有两个。 一是因为2013年后手机端成为了主要入口,每一个大厂都在打造自己的超级App,于是乎web端功能不再迭代甚至删减限制,每一产品都在把聊天、内容、购物、支付乃至部分公共服务全部塞到自己生态里,再通过小程序继续确保用户不离开自己。 另外一个就是17年基本所有主流平台受网络安全法要求统一强制实名要求,其实也给了大厂们一个理由更封闭。 但是其实美国也在AI时代互联网面临着“不”联网的处境,最近大量讨论都围绕在平台是否应该向Agent开放权限上,大部分的头部传统企业也都先选择把门关上。 购物网站: - Amazon:2025年10月31日向Perplexity发函,要求其购物代理Comet停止未经Amazon许可的代理访问;2026年9月,又封锁了Meta Muse对Amazon的访问。 - eBay:用户协议直接点名代买Agent、LLM驱动的机器人等自动化工具,要求事先获得eBay明确许可才能访问其服务。 - Target:采用Agent白名单。只有用户批准、同时获得Target授权的Agent才能接入,其他Agent不能登录、查询、抓取数据,或者通过API与网站交互。 银行和券商: - 花旗Citi:不允许第三方AI Agent代客户登录账户,或者直接在其数字银行平台内执行交易;保留通过部分开放银行服务商、经客户授权的有限只读访问。 - 摩根大通Chase:要求Agent明确表明身份、标记流量,并在条款中保留限制、暂停、终止Agent访问的权利。 出行和本地生活: - Delta航空:条款明确写着,用户授权某个第三方Agent,并不构成Delta对它的授权;Delta保留拒绝与其交互、处理其请求或交易的权利。 - Yelp:未经许可的自动化访问、抓取和检索受到限制;它也提供自己的MCP接入,但需要通过Yelp的API密钥使用。