IBM 发布 vLLM-Hook MIA 插件,实现近零开销的模型运行时监控与转向
IBM 发布插件库 vLLM-Hook MIA(model internals aperture),面向 vLLM 推理引擎,让开发者在不关闭图捕获与回放的情况下于运行时观察和干预模型内部状态,例如拒绝恶意提示词、标记幻觉或调整回复语气。
IBM 发布插件库 vLLM-Hook MIA(model internals aperture),面向 vLLM 推理引擎,让开发者在不关闭图捕获与回放的情况下于运行时观察和干预模型内部状态,例如拒绝恶意提示词、标记幻觉或调整回复语气。
Databricks 宣布 AI Runtime(AIR)正式可用,将全托管 GPU 基础设施直接接入 Databricks,让客户在企业数据所在的 Lakehouse 内训练模型。
Databricks AI Runtime 在 GTC Berlin 上宣布正式可用,开发者可在无服务器 NVIDIA GPU 上使用 NVIDIA NeMo、NGC 容器和 Nemotron cookbooks 训练与微调开源模型。
NVIDIA 与 Hugging Face 推出 SimReady Central Library,汇集 2,000 多个带碰撞几何、质量和摩擦等仿真属性的 OpenUSD 资产,免费无需审批,用于机器人训练环境和 AI 工厂数字孪生。
NVIDIA 扩展 Confidential Computing,新增 Confidential Bare Metal 部署选项,让前沿模型厂商在第三方专用基础设施上运行敏感负载并保留模型与数据控制权。
NVIDIA cuDSS 现已正式可用,这一 CUDA-X 库将工程与科学仿真中的大型稀疏方程组求解迁移到 GPU 上。
NVIDIA 在 GTC Berlin 集中展示本地 AI 硬件 lineup:RTX Spark 面向 Windows PC 个人智能体,DGX Spark 64GB 版 10 月 23 日开售并支持八机集群,DGX Station 提供 748GB 一致内存、最高 20 petaflops 性能,Windows 版 12 月推出。
火山引擎介绍 Seedance 2.5 API 于9月22日上线的 Draft(样片)模式:用户先以480P 低成本验证创意,再生成原生1080P 成片。过去一个月终端用户平均约11次 Draft 尝试后择优生成成片,生成成本可节省约73%;以1080P 生成5秒镜头为例,抽卡10次较友商节约30%、抽卡20次节省43%。
NVIDIA 在 GTC Berlin 宣布 Bolt(与 Lucid 合作)、Mercedes-Benz、Volkswagen Commercial Vehicles、Einride 等欧洲车企和出行公司在 NVIDIA Hyperion 计算平台上展示自动驾驶用例,Volvo Cars 采用 Hyperion 与 Alpamayo Stack。
NVIDIA 在 GTC Berlin 宣布扩展 Isaac 开放机器人开发平台,Agile Robots 同步发布基于 NVIDIA Isaac GR00T 和 Jetson Thor 的全栈参考人形 Agile ONE SN,计划集成 NVIDIA Halos 安全系统,预计 2027 年初上市。
NVIDIA 扩展开源的 NVIDIA Agent Toolkit,新增 Agent Knowledge Foundation、Kumo 系列开放模型、OpenShell 安全运行时和 NemoClaw 智能体蓝图,用于让企业智能体基于公司数据回答和行动,并提供访问控制与治理。
NVIDIA 在 GTC Berlin 推出 DSX POD 参考设计,用于在模块化集装箱内由合作伙伴预集成、预验证完整的 Vera Rubin AI 工厂,交付后接入已准备好的电力、冷却与网络即可投用。
NVIDIA 在 GTC Berlin 宣布欧洲生态伙伴采用 NVIDIA DSX AI Factory Platform 建设 AI 工厂,其参考设计用闭式液冷与干冷器将冷却水耗降至近零,2GW 部署每天可省 5400 万升水。
NVIDIA 在 GTC Berlin 发布 OpenShell 参考架构,用于在企业和边缘基础设施上构建、隔离、观察并强制执行安全智能体。
NVIDIA 在 GTC Berlin 宣布与多家医疗和研究机构合作,并与 UW Medicine 蛋白质设计研究所共同推出 BioNeMo 开源模型 RFD4-Proteina,将可编程蛋白质设计与搜索能力结合。
NVIDIA 介绍开源运行时 NVIDIA OpenShell 及其参考架构,将智能体视为不可信工作负载,通过 Gateway、Supervisor、Sandbox 和 Policy prover 四个组件在智能体之外实施确定性治理。
NVIDIA 推出安全软件框架 NVIDIA Sentry,在 BlueField-4 DPU 上为 AI 智能体提供主机隔离的运行时防护,独立于主机软件监控并执行智能体对模型、工具和数据的访问策略。
Synaptics 推出 Astra SR200 系列 xMCU,内置 Google Research 的 Coral NPU,集成可扩展至数百 MB 的高带宽定制 DRAM,可在设备端运行更大规模 AI 模型和多模态负载。
DeepSeek 宣布将内部推理框架 DeepInfer 完全开源,代码位于 github.com/deepseek-ai/DeepInfer。
🚀 隆重推出 DeepInfer,我们自研的推理框架,现已完全开源! 以高吞吐量和低延迟大规模支撑 DeepSeek-V4.1-Flash。我们分享生产环境技术栈,帮助社区降低计算成本、减少能源消耗,让 AI 更可负担。 🔗 http://github.com/deepseek-ai/DeepInfer 1/4
DeepSeek 开源其 V4.1 Flash 背后的生产推理引擎 DeepInfer(Apache 2.0),并附 deepseek-recipe 库,官方称单集群日吞吐 155 万亿 token、缓存命中 96%、错峰每加速器小时收入 $38。
Google 在 PyTorch Conference North America 发布 llm-d 1.0,这是该开源分布式推理栈的首个稳定版本,将 vLLM 或 SGLang 模型服务器整合为 Kubernetes 原生的统一资源池。
Mistral AI 发布 Voxtral 3,包含 3 个转录模型、1 个 TTS 模型和基于 LiveKit 的 Voice Agent SDK,全部 4 个模型在 Mistral API 上开放公开预览。
Introducing Eden-Live, a realtime generative renderer by @tripoai. • Turn 3D scenes and prototypes into rich interactive worlds by redrawing them with Eden-live. • Restyle any scene live with references images + text. • Edit the prompt on the fly. Available Day 0 on Reactor.
腾讯云 10 月 20 日宣布元宝搜索正式对外开放,已构建千亿级索引规模、日均调用量达数亿次,支撑 WorkBuddy、ima、腾讯视频等 50 多个核心业务。
Adobe 正重新设计 Photoshop 的滤镜工作方式,把滤镜从直接印到图层像素上改为类似图层的独立效果,可拖到指定图层、在属性面板实时调参并随时隐藏或删除。Adobe 还演示了 Photoshop AI Assistant 让 AI 创建带可调滑块的自定义滤镜,相关更新预计今年晚些时候开始推送。
蚂蚁集团与 vLLM 社区开源通用高性能量化推理内核库 Humming,仓库为 github.com/vllm-project/humming。
推荐理由:原文给出统一量化表示加 JIT 编译的内核设计和多项基准数字,读者可以据此评估不同 GPU 上的量化推理方案选择。
你现在可以在 API 中选择 12 小时提示缓存。 持久化 agent(如 dots)会在一天中重复使用上下文。 你可以将共享的指令、工具和上下文缓存更长时间,并支付更低的缓存输入费率,即使请求相隔数小时。
推荐理由:作者亲述 API 12 小时缓存与 Codex、Work 侧持久缓存策略,可直接判断对长时间运行 Agent 成本和体验的影响。
EAGLE-4 is here. From EAGLE-1 to EAGLE-3, we’ve kept making inference faster. EAGLE-4 is our fastest yet. 961.6 tokens/s on @Alibaba_Qwen’s Qwen3.8-27B with TokenSpeed (BF16, 4× @NVIDIA B300, TP4, one request, T=0). Github: https://github.com/eagle-hq/EAGLE-4
OpenAI 当地时间周二宣布为 ChatGPT 推出锁定对话功能,用户可用四位 PIN 码或面容 ID、触控 ID 保护敏感对话。锁定对话移入独立分区,与普通记录、搜索和置顶隔离,开启记忆功能时拥有独立记忆空间;但该功能不启用端到端加密,不改变数据留存时长,且临时对话、群组对话等类型不可锁定。免费版到企业版等多数版本可用,医疗专用版除外,功能从周二起分批上线。
Modal 发布 Sticky Sessions,基于 Modal Servers 让同一会话的所有请求固定路由到同一容器,用 @modal.sessioned() 装饰器配合 SDK 或 HTTP API 即可创建。
推荐理由:原文讲清了 Sticky Sessions 的路由、授权与弹性伸缩设计,以及语音智能体、共享房间和游戏等适用场景。
Introducing Voxtral 3: state-of-the-art Transcribe and Speech models powering Mistral’s new voice agents API. 🧵
Google 为 Android Auto 和 Google built-in 车机上的 Gemini 推出 Personal Intelligence,可跨 Gmail、Calendar、Maps、Photos、YouTube 和 Search 调用个人信息,例如从 Gmail 读取航班确认信息后查询航班状态,或按上周照片找到洗车点并导航前往。
FastH3 OmniRef by @haoailab's is now supported in ComfyUI. This distilled version of Minimax H3 allows multi-modal reference generation of videos. It runs locally on your hardware and provide great balance between quality and speed. Click the links below for open weights and cloud ⬇️
Gemini 4 Argon built a 3D periodic table synced to Tom Lehrer’s song, “The Elements.” Created in @Antigravity, it animates orbiting electrons, atomic data, and light spectra.
Claude Code v2.1.305 新增 sandbox.allowNestedUserNamespaces 选项,让 Linux 沙箱内命令可创建用户命名空间,从而绕过沙箱的文件保护限制。
Google 开始向 Android Auto 推送 Gemini 的 Personal Intelligence,并将在未来几个月覆盖搭载 Google Built-in 的车型,该功能仍为可选。它让 Gemini 调用 Gmail、Calendar 等应用中的数据来生成回答,无需用户额外提供上下文。
Meta 的开放权重模型 Muse Spark Open 在 Fireworks 上线 Day-0 serverless,为 816B 参数 MoE 架构,每 token 激活 42B 参数,支持 1M token 上下文窗口。
推荐理由:Fireworks 给出了 Muse Spark Open 在法律、金融、医疗等多个独立基准的具体分数和上线方式,读者可据此评估其在受监管工作中的适用性。