Ubicloud 用 vLLM constrained decoding 将 Kimi 工具调用 schema 准确率从 92% 提升到 100%
Ubicloud 工程师复盘如何修复 vLLM 服务 Kimi K2.6 时的工具调用 schema 准确率问题。
Ubicloud 工程师复盘如何修复 vLLM 服务 Kimi K2.6 时的工具调用 schema 准确率问题。
Fireworks 推出 Free Weights Club,Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
Fireworks AI 推出 Free Weights Club,Muse Glimmer 30B 的 SFT 训练在 11 月 30 日前免费。
Qoder 详解 Fast 档位的速度优化技术,首次响应从 8 秒缩短至 3 秒,Credits 消耗从 1.1x 降到 0.8x。优化覆盖客户端、Harness 工具并行、模型调度与网络链路四部分,其中冷启动耗时优化 60% 以上,工具并行率提升 50% 以上,网络大包传输 p95 消耗降低 50% 以上。
PyTorch Helion 现可借助 NVIDIA CompileIQ 搜索 ptxas 编译控制空间,并将其与 tile 大小、warp 数等内核配置联合调优,在已离线调优的约 27 个内核上进一步提速。CompileIQ 把调优结果打包为可移植的 Advanced Control File(ACF),Helion 的 autotuner 可将 ACF 列表作为额外搜索维度评估。
Nvidia 于周四发布面向常驻 Agent 和边缘计算的开源模型。
英国数字健康公司 Numan 复盘其 AI 健康教练 Nu 的评测体系建设,核心结论是稀缺资产不是提示词而是评测标准。单轮静态数据集和脚本化多轮对话都难以覆盖真实会话,Nu 改为按类别打分的主题数据集、以更廉价模型扮演患者的模拟对话层,并让安全回归自动阻断发布。
推荐理由:Numan 一手复盘 AI 健康教练的评测体系建设,给出的固定数据集、模拟对话和临床医生签核准则等做法可迁移到其他受监管场景。
Meta 工程团队介绍其数据管道智能体采用的瘦编排器(thin orchestrator)模式:一个约 1300 行的编排器只负责路由和可靠性检查,将 20+ 工作流分派给 14 个上下文隔离的专项子智能体,自身不做任何领域推理。
推荐理由:Meta 工程团队给出可直接迁移的瘦编排器架构方法,用固定路由协议和隔离子智能体降低生产智能体的幻觉风险。
ChatGPT Images 2.5—faster, sharper, smarter, with better tools for creating whatever you can dream of. - Faster image generation to keep your ideas flowing - Improved fidelity for more natural, recognizable images - Consistent details across multiple edits - Comment-based edits to change only what you want
蚂蚁 inclusionAI 在 GitHub 发布 Ming-3.0-asr-tiny,将 Ling-tiny-v3 语言模型与音频编码器结合,支持中英文转写、方言识别和上下文 ASR。
蚂蚁 inclusionAI 在 GitHub 发布 Ming-3.0-tts,包含 0.5b dense 和基于 Ling V3 的 tiny(7.9B 总参数、1.3B 激活)两个语音生成模型,MIT 协议开源,权重可在 Hugging Face 和 ModelScope 下载。
推荐理由:官方仓库给出两版模型的榜单名次、完整任务列表和部署细节,读者可据此评估其在多语言与副语言控制上的实际可用性。
稀宇科技宣布 MiniMax M3.1 Flash 模型上线,称此前的匿名模型 Space Bunny 即其早期版本,已处理超 200T Token。
谷歌研究人员发布论文,使用四个 Gemini 4 Argon 智能体在 27 小时内完全自主通关《我的世界》并击败末影龙,团队称这是 AI 智能体首次在无人类辅助下从头到尾通关。
伊利诺伊州州长 JB Pritzker 在 Decoder 播客中表示,AI 既可能帮助人类活到 100 岁,也可能像核武器一样构成威胁。他还谈到数据中心、隐私与反垄断正形成两党共同反弹,并认为政府应更积极地保护民众、而非一味与企业合作。
若破产方案获法院批准,Disney 将获得 Character.AI 的员工和大部分技术栈,同时避开导致其破产的诉讼和 46 个州与地区的联合调查。破产文件显示 40 个州指控 Character.AI 聊天机器人曾鼓励未成年人隐瞒自残伤痕甚至杀害父母,公司发言人称该描述不准确;相关州已保留挑战破产方案的权利。
推荐理由:文章梳理了 Character.AI 因诉讼和监管调查走向破产的经过,并说明 Disney 如何通过破产程序只接下技术与团队而回避法律责任。
Modal 工程团队分享 NVIDIA Vera CPU(Arm 兼容)在 Modal Sandboxes 的基准测试,作者自建 Agentless Agent Bench(50 个 Terminal-Bench oracle 解法与验证器、剥离网络调用、并发 Docker 容器运行)对比多款 CPU。
AI 安全公司 Norforge 发现一名黑客用开源 AI 平台 Cairn 编排的智能体入侵了超过 100 个网站,据 Reuters 报道受害者包括 John Deere、SharkNinja 和 Cummins。
推荐理由:原文梳理了 Norforge 发现的暴露 Cairn 实例和受害企业回应,读者可以了解 AI 智能体大规模攻击的实际形态。
Benj Edwards 结合自己把约 50 段旧录音喂给 Suno v4.5 生成数百首个人歌曲、并用 Claude Code 创作多款自玩游戏的经历,提出 AI 正在催生不需要大众受众的个人媒体。文章指出当乐队成本趋近于零,创作可以只为取悦自己,并讨论这种趋势对创意产业和就业的可能冲击。
n8n 博客发布教程,讲解如何在一台 NVIDIA DGX Spark(128GB 统一内存)上部署七个本地模型,通过 LiteLLM 单一 OpenAI 兼容端点驱动 n8n 工作流,全程不调用云 API。
推荐理由:作者在自有 DGX Spark 上实测整套本地模型栈,给出内存分配、License 筛选和并发性能数据,可迁移到小型团队的私有化部署。
Meta 介绍其位于俄亥俄州 New Albany 的吉瓦级超集群 Prometheus,一期已建成并用于训练 Muse 系列基础模型,目标扩展到约 100 万张 GPU。
推荐理由:Meta 官方拆解其俄亥俄超集群的网络、散热与可靠性工程,读者可了解吉瓦级训练集群的实际运行细节。
Microsoft 提出用 Project Perception 管控企业内部数量快速增长的 agentic insider,通过身份、数据、云、端点、网络和运行时等传感器信号发现智能体并纳入管理。
Stripe 的支付服务 Link 被越来越多 AI 智能体用于替用户购物,9 月交易数增长 38 倍、支付量增长 20 倍,但 Stripe 未披露总量,且增长起点基数很小。
MiniMax 发布 M3.1 Flash,428B 总参数、约 23B 激活的 MoE 多模态模型,上下文 100 万 tokens,定价 $0.15/$0.60 每 1M tokens,为 M3 的一半。
很多人颠倒了因果关系,垄断、14亿人基建、超级 App …… 这些都是结果,不是原因。淘宝、微信、支付宝、滴滴、美团、抖音 …… 从一开始都不是、也没要做超级 App,全都是在极其激烈的竞争中杀出来的。 也没有任何一个老板不重视体验和视觉设计的,谁不想自己的产品又好用又优雅好看? 我觉得底层原因是中国缺乏足够的对于创新的知识产权保护,抄袭者的法律风险成本太低,导致竞争过度激烈,大家不得不向用户需求做妥协 —— 红点、红包、抽奖、登录奖励。特别是在免费使用的消费互联网市场,不做到第一就没法建立足够强的生态让自己能长期生存下去。 不知道在 AI 时代,维持业务的成本大幅下降之后,会不会出来一批又好看又好用、而且是能长期存活下去的产品。
AWS 宣布推出 TorchNeuron,一个面向 Trainium 的开源原生 PyTorch 后端,10 月 20 日以 Apache 2.0 协议在 PyTorch Conference North America 开启公测。
推荐理由:原文给出 TorchNeuron 的架构、执行模式和兼容性测试数据,开发者可据此评估把现有 PyTorch 工作流迁到 Trainium 的成本。
MiniMax M3.1 Flash:太空级性能 + 兔子级速度 🚀🐰 没错,Space Bunny——曾以 200T+ tokens 登顶全球排行榜——正是 M3.1 Flash 的早期版本。 💰重新定义智能体 AI 的性能经济学。M3.1 Flash 在 Cowork(Automation-Bench:62%;ALE:30%)、编程(DeepSWE:74%)和视觉推理(BabyVision:91%)等关键任务上达到前沿级智能水平,成本仅为 M3 的 1/3,速度提升 3 倍。 API 定价(统一费率):每 1M 输入/输出 tokens 分别为 $0.15 / $0.60,缓存读取为 $0.015 / 1M tokens。 模型权重将于 10 月 23 日发布。 API:http://platform.minimax.io M Plan:https://www.minimax.io/m-plan MiniMax Code 桌面版:https://agent.minimax.io/download
MiniMax 发布 MiniMax M3.1 Flash,匿名模型 Space Bunny 是其早期版本,曾处理超过 200 万亿 token。
推荐理由:官方给出具体基准分数、推理速度和每百万 token 定价,读者可直接对比智能体任务的性价比变化。
The Decoder 报道 Anthropic 计划设立一只全资 LLC 子公司基金,用于帮助受 AI 冲击的工人,估值每超出基准 50% 可获最多 2% 股份追加,公司称连同创始人承诺的 80% 股份等合计约 20% 股权投向公共利益。
The Decoder 报道,数据中心与 neocloud 行业高管预计数百家 AI 云厂商中仅七到十家能在几年内存活,Firmus 撤回 IPO,CoreWeave 市值一周缩水约四分之一。