跳到正文
Moonshot AI:Kimi Blog·· 6 天前精选AI 评分81

月之暗面发布 Kimi K3.1 Pro,100 万 token 上下文,开放权重将于 11 月 4 日前释出

Kimi K3.1 Pro

AI 导读

月之暗面发布 Kimi K3.1 系列首个模型 Kimi K3.1 Pro,为 3T 级开放权重模型,上下文窗口 100 万 token,并同步推出速度快 2-3 倍的 Kimi K3.1 Pro Highspeed。

推荐理由

官方公布了关键基准成绩、开放权重时间表和网络安全数据清理做法,读者可据此评估这代开放权重模型的实际能力边界。

正文 · AI 翻译

Kimi K3.1 Pro 正式发布

我们推出 Kimi K3.1 Pro,它是全新 K3.1 系列的首款模型,也是我们迄今能力最强的 3T 级开放权重模型,上下文窗口达 100 万 token。它在编程、3D 创作、金融研究以及其他智能体能力上均有大幅提升。

我们还同步发布 Kimi K3.1 Pro Highspeed,速度达到 K3.1 Pro 的 2-3 倍,交互响应更迅捷。

Kimi K3.1 Pro 与 Kimi K3.1 Pro Highspeed 即日起在 Kimi.com、Kimi Work、Kimi Code 和 Kimi API 上线。完整模型权重将于 11 月 4 日前发布。

Benchmark results for Kimi K3.1 Pro and peer models across 14 coding, science, and knowledge-work evaluations

拓展开放智能的边界

Kimi K3.1 Pro 是 Kimi K3 的后训练版本,后训练算力大幅增加。为了在数百个下游领域开展大规模联合强化学习,我们优化了技术栈的每一层——强化学习框架、长上下文推理、训练效率、沙箱基础设施、rollout 调度,以及用于环境质量检查的共享平台——让每一份强化学习算力都能带来稳定、可预期的回报。得益于此,K3.1 Pro 在各个领域都取得了持续提升。

在编程、智能体和知识类基准测试中,K3.1 Pro 达到或接近最强闭源模型的水平。在 Terminal-Bench 4.0 上,该测试用严格的任务专属测试评估编程智能体在贴近真实、资源受限的终端任务中的表现,K3.1 Pro 得分 65.7%,领先 GPT-6 Astra(58.2%),仅略低于 Claude Opus 5.5(66.4%)。在 Kimi Code Bench 3.0 Long-horizon 上,这是我们内部的基准测试,考察编程智能体在多种工程领域中的多步执行、工具使用和端到端问题解决能力,K3.1 Pro 得分 61.2%,高于 K3 的 55.95%。

编程

K3.1 Pro 覆盖各类编程工作,从真实代码库中的快速修复到完整项目构建都能胜任。它还能为游戏和网页体验带来更考究的视觉风格,并且懂得用合适的工具把它们搭建出来。

K3.1 Pro 可高效配合 Unity、Unreal Engine 和 Godot 等游戏引擎,并结合网页搜索与 3D 生成,打造完整的体验。它生成的前端页面、交互式 Three.js 场景和 3D 资产在构图、排版、动画和精细度上表现更佳。以下示例均由 K3.1 Pro 端到端完成:

K3.1 Pro 的长程编码能力也通过大规模强化学习得到强化。在一项内部测试中,它在 human-atlas 之上搭建了一个人体行走动力学模拟器,并集成了训练与评估流程。human-atlas 是一个开源的人体解剖模型,包含 296 个骨骼组件(含软骨)和 402 个肌肉组件。在 167 项任务和 420 次独立评审中,它分析实验结果、诊断问题,并反复改进行走控制器,使模拟人从几秒内就瘫倒,进步到能以交替步态连续行走 11.2 秒。当奖励塑形无法改善手臂动作时,K3.1 Pro 没有一味调整奖励,而是对模拟器的动力学做开环探测,找出并修正了肩部肌肉力臂计算中的 36 处错误,然后重新训练控制器。

3D 建模与设计

K3.1 Pro 在 3D 创作和空间推理方面表现出色。在 BenchCAD 上(该基准通过生成 CAD 代码来测试从多视角渲染图进行 3D 重建的能力),K3.1 Pro 借助工具得分 92.7%,接近 Claude Opus 5.5(96.2%)和 GPT-6 Astra(95.9%)的水平。无论是文字简述、草图还是参考图,它都能推断出形状、比例和空间关系,做出可用的 3D 模型。它对现有资产库和模型集合的掌握也更强。

BenchCAD results (1,000-file subset, Voxel IoU): with tools, Claude Opus 5.5 scores 96.2, GPT-6 Astra 95.9, Kimi K3.1 Pro 92.7, Claude Fable 5.1 92.6, and DeepSeek-V4.1-Flash-1017 81.6; without tools, Claude Opus 5.5 scores 73.0, Kimi K3.1 Pro 72.8, Claude Fable 5.1 60.6, and DeepSeek-V4.1-Flash-1017 41.2

K3.1 Pro 尤其擅长参数化建模,从机械零件、建筑模型到可配置产品和定制家具都能胜任。无需 MCP 连接器,它就能编写并运行 Blender、CAD 等工具的脚本,用来搭建和打磨资产、编辑组件,以及调整几何形状、材质和场景布局。

以下是 K3.1 Pro 为品牌影片、游戏和互动网页体验创作的 3D 资产示例:

3D Make 现已在 kimi.com 和 Kimi 应用上线——你可以在线预览和编辑 3D 模型,下载可直接用于 3D 打印的文件,或导出为视频、实况照片,分享到任何地方。

The Kimi 3D Make interface on kimi.com, with a prompt box for turning ideas into 3D models and featured templates including a pagoda, a typewriter, and a jet engine

金融

凭借更强的推理和智能体能力,K3.1 Pro 能够端到端交付完整的金融工作流。K3.1 Pro 在 OfficeQA Pro v2 上取得当前最佳成绩(64.4),该基准通过检索、跨文档核验和多步数值推理,测试模型对真实财务文档中复杂财务数据的分析能力。在衡量从筛选到盈利分析完整投资工作流支持能力的 Frontier Finance 上,K3.1 Pro 也较 K3 有所提升。

Finance benchmark results for OfficeQA Pro v2 and Frontier Finance, with Kimi K3.1 Pro leading OfficeQA Pro v2 at 64.4 and scoring 58.6 on Frontier Finance against Claude, GPT, GLM, and DeepSeek models

在我们所有内部金融基准上,K3.1 Pro 同样有显著提升:

  • Financial Modeling 评估真实建模任务中的公式联动、财务逻辑和最终工作簿质量。K3.1 Pro 较 K3 提升 7.2 分。
  • Financial Research 评估模型能否在证据和截止时间约束下产出可审计的研究。K3.1 Pro 较 K3 提升 11.6 分。
  • Business Operation 评估模拟商业环境中的长程管理与决策能力。K3.1 Pro 的表现约为 K3 的 4.2 倍。
Internal Finance Benchmark: Kimi K3.1 Pro versus K3 on Internal Finance Modeling (57.6 vs 50.4), Internal Financial Research (70.4 vs 58.8), and Internal Business Operation (37 vs 8.9)

财务分析与投资研究对事实准确性的要求极高。为此,我们针对 K3.1 Pro 在真实任务和挑战性提示词上的事实准确性做了定向改进。在 Kimi Hallu Bench Hard 这一内部基准(专为压力测试事实准确性而设计)上,其论断级幻觉率从 K3 的 23.4% 降至 8.3%,而至少包含一处事实错误的回答占比仅为前代的 42.4%。(该评测是对事实准确性的压力测试,样例刻意设计为探查模型容易出错的场景。所报告的比率不代表日常使用中的整体错误率。)

Kimi Hallu Bench claim-level hallucination rates (lower is better): without tools, GPT-6 Astra 4.2, Kimi K3.1 Pro 5.4, Opus 5.5 6.8, Fable 5.1 11.4, DeepSeek-V4.1-Flash-1017 13.1, GLM-5.3 14.8; Hard with tools, GPT-6 Astra 5.5, Kimi K3.1 Pro 8.3, Opus 5.5 15.0, GLM-5.3 22.6, DeepSeek-V4.1-Flash-1017 23.3, Fable 5.1 23.3

以下案例展示了 K3.1 Pro 在财务建模、投资分析和基于来源的研究中的实际表现:

网络安全

随着 K3.1 Pro 能力增强,我们相应投入了更大精力去理解网络能力从何而来,以及其中有多少可控。因此,我们分析并评估了 K3.1 Pro 的漏洞研究能力,并在训练中施加定向控制,在保留通用实用性的同时降低潜在的滥用风险。

识别并移除网络相关数据。在开发过程中,我们观察到漏洞研究表现随着后训练规模扩大而稳步提升。追溯这一趋势的来源,我们发现网络相关内容嵌在通用中期训练语料中,网络相关任务也存在于强化学习环境组合里——这是在大规模数据上训练的自然副产物。在内部模型的初步实验中,我们发现若在中期训练或强化学习阶段都不做数据移除,下游网络能力会大幅提升。这些发现为我们提供了具体的控制抓手。在 K3.1 Pro 的开放权重发布中,我们从两个训练阶段都识别并移除了网络相关数据,同时保留了模型实用性所需的通用编程任务。我们将继续在每个训练阶段施加适当控制,网络相关数据的识别与限制只是其中一例。

评估与结果。数据清洗后,我们在 xdev-bench-hard 上评估了 K3.1 Pro。这是我们内部的基准,由专家精选、基于源代码的漏洞发现与利用任务构成,并经过校准,以在当前能力水平上提供有意义的区分度。大多数任务忠实复现了 Linux 内核、Node.js、JavaScriptCore、Exim 和 VirGL 等软件近期披露的漏洞,且启用了缓解措施。每个任务提供存在漏洞的源代码、简短的缺陷提示和对应二进制文件;智能体必须开发出利用程序,在独立沙箱中实现任意代码执行,并取回一个秘密字符串以供自动验证。我们报告随机子集运行上的 pass@3,不设硬性超时或输出 token 限制。

Internal xdev-bench-hard (pass@3) results: GPT-5.6 Sol (third-party evaluation) solves 100 problems, the Kimi model without cyber risk-reduction 90.5, DeepSeek-V4.1-Flash 85.7, Kimi K3.1 Pro 81.0, GLM-5.3 57.1, and Kimi K3 33.3, with average success rate and average tokens per successful trajectory for each

在 xdev-bench-hard 上,未采取这些风险削减措施的检查点——训练中期未移除网络相关数据,也未对网络相关的强化学习环境做过滤——在 pass@3 下解决了 90.5% 的问题;最终的 K3.1 Pro 达到 81.0%。这一对比表明,相对于同一训练流程原本会产出的结果,数据移除确实显著降低了网络能力。与此同时,K3.1 Pro 相比前代有大幅提升,说明更强的通用编程能力和长程调试能力即使在定向数据移除之后,仍能泛化到网络任务上。K3.1 Pro 的网络能力仍落后于已公开可用至少三个月的前沿专有模型。我们会持续改进内部基准,使评估在模型能力不断进步的过程中始终保持参考价值。

开放权重原则。这些评估构成了我们开放权重发布决策的依据。第一,我们不希望发布会拓展网络能力绝对前沿的开放权重。K3.1 Pro 的攻击性网络能力按设计就低于我们训练流程所能达到的水平,并且仍落后于前沿专有模型。第二,我们打算逐步提高开放权重中可用的网络能力。我们认为,以非歧视的方式提供 K3.1 Pro,能让需要两用能力用于防御目的的人受益。当一个能力强大的模型是开放的、并运行在用户自己控制的基础设施上时,更多团队就能获得审计自己所维护代码的手段——包括那些很少接受专门安全审查的遗留系统。我们相信,让这种能力逐步扩散,而不是集中在少数专有系统中,最终会让所有软件更安全。

可用性

Kimi K3.1 Pro 今天起在 Kimi 全系产品上线:Kimi.com、Kimi 移动应用、Kimi Work 和 Kimi Code,以及通过 Kimi API 提供。

完整模型权重将于 2026 年 11 月 4 日前发布。

Kimi 企业版管理员可为所在组织启用 K3.1 Pro;该功能在发布时默认关闭。

各渠道详情:

  • Kimi 智能体:从手机应用商店下载或更新至最新版 Kimi 应用,支持 iOS、Android 和 HarmonyOS,也可访问 kimi.com。
  • 用 Kimi K3.1 Pro 办公:下载最新的 Kimi Work 桌面应用,版本 3.1.0 或更高,支持 Windows 和 Apple 芯片 Mac。
  • 用 Kimi K3.1 Pro 写代码:运行 Kimi Code,使用 /model 命令选择 Kimi K3.1 Pro。
  • 用 Kimi API 构建:访问 Kimi API 平台,选择 kimi-k3.1-pro / kimi-k3.1-pro-highspeed。API 客户可选用零数据保留。
  • 将 Kimi 引入你的组织:Kimi 商业版提供企业级数据隐私和成员管理,个人账户与组织账户完全隔离。访问定价页面并选择“获取 Kimi 商业版”,即可为团队订阅。

基准测试

脚注

除非另有说明,下文报告的所有 Kimi K3.1 Pro 结果均在推理强度设为“max”、temperature = 1.0、top-p = 0.95 的条件下获得。

编程基准

  1. Terminal-Bench 4.0。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。DeepSeek-V4.1-Flash-1017 的分数取自发布博客(https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017)。其余分数均取各模型博客文章或 Terminal-Bench 4.0 官方排行榜(https://www.tbench.ai/)中报告的最高值。
  2. Terminal-Bench Science 0.1。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。我们内部评测 DeepSeek-V4.1-Flash-1017 得到 9.3 分;但较早的版本 DeepSeek-V4.1-Flash 在官方 Terminal-Bench Science 上得分为 15.7,因此这里报告 15.7;其余分数均来自 Terminal-Bench Science 官方排行榜(https://www.terminal-bench-science.ai/)。
  3. DeepSWE v1.1。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。所有分数均取自各模型对应的技术报告。GPT-6 Astra(https://openai.com/index/gpt-6-astra/)。Claude Opus 5.5 与 Claude Fable 5.1(https://www.anthropic.com/claude-opus-5-5-system-card 和 https://www.anthropic.com/claude-fable-5-1-mythos-5-1-system-card);DeepSeek-V4.1-Flash-1017(https://api-docs.deepseek.com/news/news261017/);GLM-5.3(https://z.ai/blog/glm-5.3)。
  4. SWE-Marathon v1.1。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。DeepSeek-V4.1-Flash-1017 使用 ClaudeCode 测试框架进行评估。其余分数均取自 SWE-Marathon 官方排行榜(https://www.swe-marathon.org/)。
  5. PostTrainBench。Kimi K3.1 Pro 和 DeepSeek-V4.1-Flash-1017 由我们在 v1.2 上内部评测,使用 Claude-Code 测试框架和 H20 GPU(而非 H100 GPU)。为保证评测稳定,所有评判模型均使用最高推理强度的 DeepSeek-V4.1-Flash-1017,测试中它与官方 GPT-5.6-Terra(xhigh)评判模型的表现最为接近。其余分数来自官方排行榜(https://posttrainbench.com/)。
  6. ProgramBench(二值分数)。我们报告二值分数而非原始 ProgramBench 分数:任务得分 ≥95% 记 1 分,否则记 0 分。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估。DeepSeek-V4.1-Flash-1017 和 GLM-5.3 的分数取自发布博客(https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017);其余分数均来自 Vals ProgramBench 排行榜(https://www.vals.ai/benchmarks/programbench)。
  7. 内部编程基准:Kimi Code Bench 2.0 和 Kimi Code Bench 3.0 长程任务。Kimi K3.1 Pro 使用 Claude-Code 测试框架进行评估;其余模型均在其最高推理强度设置下评测。请注意,专有模型的测试可能涉及一些回退行为。
  8. BenchCAD。开源模型由我们在 Vision2Code 全量 17,900 个用例中随机抽取的 1,000 个用例子集上评测,采用最高推理强度。带工具的结果使用 Claude Code 测试框架;不带工具的结果使用官方 BenchCAD 提示词和评分流程进行单次生成。Claude Fable 5.1 和 Claude Opus 5.5 的分数取自 Claude Opus 5.5 System Card;GPT‑6 Astra 的带工具分数取自其官方报告。GPT‑6 Astra 未报告不带工具的分数,标记为“—”。

智能体基准

  1. BioMysteryBench 数据集取自 官方 v11 版本,评判模型为 Kimi K3。我们评测了 Kimi K3.1 Pro(搭配 Kimi Code)、GLM-5.3 和 DeepSeek-V4.1-Flash-1017(搭配 Claude Code),以及 GPT-6 Astra(搭配 Codex)。Claude 系列模型的分数直接取自其官方系统卡。
  2. Our Agents’ Last Exam 数据集取自 官方 v1.1 版本,共包含 122 个任务,其中 86 个为 CLI 任务,环境镜像与官方 Hugging Face 发布版本保持一致。此外,对于绕过任务既定要求的运行,我们一律记零分,例如不在 Wireshark 中完成所需分析,而是直接上网检索答案。DeepSeek 和 Kimi 分别使用 Claude Code 和 Kimi Code 评测,其余结果均取自官方基准网站。
  3. OfficeQA Pro、OfficeQA Pro v2。GPT-6 Astra 使用 Codex 评测,其余模型均使用 Claude Code 评测。每个任务都会向智能体提供完整的 PDF 语料库,所有 PDF 均以图像形式呈现,不提供任何机器可读文本。我们在某些外部模型的轨迹中发现其上网检索参考答案的情况,因此将这些任务记为零分。
  4. Frontier Finance 使用官方 finance agent v2 评测框架进行评测。
  5. HANDBOOK.md 使用基于 OpenHands 构建的官方评测框架进行评测,评测任务取自该基准早期开源的 v1 版本。
  6. Harvey Legal Agent 在一个包含 1,251 个任务的公开数据集上评测,使用 Artificial Analysis 的 Stirrup 评测框架,性能以全通过率(即通过全部评分标准的任务占比)报告。
  7. OSWorld V2.1 使用官方 OSWorld v2 仓库中的 Kimi Agent 评测框架进行评测,GPT-6 Astra 的分数取自 Muse Wonder 的技术报告。
  8. DECK-Arena 评测真实查询场景下的演示文稿生成,Design Bench 则通过直接提示和参考图少样本提示覆盖平面设计;两者均在集成搜索与图像生成的评测框架中,让模型分别基于 python-pptx、pptxjs 和 Kimi 自研 DSL 运行,并使用一个基于 10,000+ 条人工判断校准的自动评分器。
  9. MCP Atlas。所有模型均在 500 个任务的公开子集上评测,限制 100 轮,评判模型为 Gemini 3.1 Pro。
  10. BrowseComp。我们采用 Claude 模型卡中使用的上下文压缩策略,在 200K token 时触发。最多允许 500 步;若任务尚未完成便达到该上限,我们会强制智能体给出答案,再对该答案进行评判。所有 BrowseComp 运行均采用 temperature=1.0 和 top-p=1.0。
  11. GDPval-AA v2.1、AA-Briefcase v1.1 和 AutomationBench-AA 的分数引自 https://artificialanalysis.ai/,Apex Agents 的分数引自 https://www.mercor.com/apex/apex-agents-leaderboard/
  12. GDP.pdf w/ python、ZeroBench w/ python 和 ChartoGraphy w/ python 取五次运行的平均值。其他多模态基准(w/ python)取四次运行的平均值。对于 GDP.pdf w/ python:每个原始 PDF 文件都会发送到沙箱,模型可以在沙箱中使用 IPython 工具处理该文件。最终回答使用 Gemini-3.5-Flash(中等推理强度)和官方评判提示词,按照每条评分标准逐项评分。我们报告任务宏平均评分标准通过率:对每个任务,先计算五次独立运行中通过的评分标准比例的平均值,再在所有任务之间对这些任务级分数等权平均。

推理与知识及多模态基准

  1. GDP.pdf。每个 PDF 都以页面图像形式提供,图像最长边缩放至 1,152 像素,并按页面顺序与 Docling 提取的文本交错排列。回答使用 Gemini-3.5-Flash Medium 和官方评判提示词,按照每条评分标准逐项评分。我们报告完全评分回答中的严格通过率。
  2. HLE 和 HLE-Diamond 评估通用知识与推理能力。我们报告在完整评估集上的准确率,其中 HLE 有 2,500 道题,HLE-Diamond 有 1,000 道题。对于标有星号(*)的模型,准确率报告在仅文本题目子集上。
  3. GDP.pdf、ZeroBench 和 ChartoGraphy 取五次运行的平均值。其他多模态基准取四次运行的平均值。GLM-5.3 Max 和 DeepSeek-V4.1-Flash-1017 Max 的 GDP.pdf 分数引自 https://artificialanalysis.ai/。
  4. MMMU-Pro 按照官方协议评估,保留原始输入顺序,并将图像前置到文本输入之前。
  5. Kimi 幻觉基准评估在内部一组取自实际工作任务、经过脱敏的挑战性提示词上的事实准确性。我们报告由事实核查智能体评估的论断级幻觉率。

网络安全基准

  1. ExploitBench。Kimi K3.1 Pro 使用官方 ExploitBench 测试框架,在 300 轮预算下评估。我们报告 pass@5 最大能力分数:对每个环境,取 5 个随机种子中表现最好的一次运行,按达到的能力标志数量(共 16 个)评分,其中实现任意代码执行即视为达到全部 16 项能力。GPT-6 Astra 的分数取自 https://openai.com/index/gpt-6-astra/;Claude Opus 5.5 和 Claude Mythos 5.1 的分数取自 https://www.anthropic.com/claude-opus-5-5-system-card;GLM-5.3 的分数取自 https://z.ai/blog/glm-5.3。
  2. ExploitGym。Kimi K3.1 Pro 使用 KimiCode 测试框架评估,每个任务的挂钟时间预算为 6 小时。GPT-6 Astra 的分数取自 https://openai.com/index/gpt-6-astra/;Claude Opus 5.5 和 Claude Mythos 5.1 的分数取自 https://www.anthropic.com/claude-opus-5-5-system-card 中 6 小时预算下的结果;GLM-5.3 的分数取自 https://z.ai/blog/glm-5.3。
  3. xdev-Bench-hard:Kimi K3.1 Pro 使用 KimiCode 测试框架评估。GLM-5.3 和 DeepSeek-V4.1-Flash-1017 使用 Claude Code 测试框架评估。

来源:Moonshot AI:Kimi Blog · kimi.com