跳到正文
2025年2月6日周四
2025年1月21日周二
  1. Modal 官方工程博客65

    Modal Sandboxes 正式可用,为不可信代码提供安全执行环境

    Modal 宣布 Sandboxes 正式可用,这是安全运行 LLM、用户或第三方来源不可信代码的隔离执行环境。它提供 exec API,可在运行时用与 Functions 相同的 Image API 动态配置任意语言依赖,支持文件系统快照以持久化和多 Sandbox 扇出,并复用 Functions 基础设施带来快速冷启动、GPU 和全球区域选择。

    推荐理由:Modal 官方宣布 Sandboxes 正式可用,给出 exec API、动态镜像和 SWE-bench 7 分钟跑完 Verified 等实测数字,可据此评估智能体代码执行方案。

2025年1月16日周四
2025年1月13日周一
2025年1月8日周三
  1. Answer.AI 官方研发博客78

    Answer.AI 实测 Devin:20 项任务仅 3 次成功,自主编程能力存疑

    Answer.AI 团队对 AI 软件工程师 Devin 进行了为期一个月的深度测试。尽管早期在 API 集成等简单任务中表现尚可,但在扩展至新项目创建、研究及代码修改等 20 项真实任务时,结果令人失望:仅 3 项成功,14 项失败,且无法预测成败规律。Devin 常陷入技术死胡同、生成过度复杂的“面条代码”,或在面对不可行任务时产生幻觉并浪费大量时间。文章指出其实际表现远低于宣传预期,难以替代人类开发者。

    推荐理由:来自知名 AI 评测机构的详实一手数据,揭示了明星产品 Devin 在真实工作流中的局限性,为评估当前自主编程 Agent 的实际成熟度提供了重要参考。

2025年1月6日周一
  1. Anthropic:Engineering72

    Claude 3.5 Sonnet 在 SWE-bench Verified 基准测试中刷新纪录

    升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率,超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力,要求模型在给定环境中理解、修改并测试代码,最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁,仅包含提示词、Bash 工具和编辑工具,赋予模型充分的自主判断空间,以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。

    推荐理由:Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。

2024年12月23日周一
2024年12月12日周四
2024年12月10日周二
  1. Cognition 模型 / Devin 博客73

    Cognition 宣布 Devin 正式全面开放使用

    Cognition 宣布 Devin 正式全面可用,无席位限制,所有工程团队可在 app.devin.ai 开始使用,并提供 Slack 集成、IDE 扩展(VSCode 及分支,Beta)和 API,以及 Cognition 工程团队的 onboarding 支持。

    推荐理由:官方宣布 Devin 全面开放并给出适用任务、使用建议和多个开源 PR 实例,读者可据此评估如何把 Devin 接入自己的工程流程。

2024年12月5日周四
  1. Answer.AI 官方研发博客45

    Answer.AI 推出终端 AI 助手 ShellSage,利用 tmux 上下文辅助运维

    Answer.AI 发布开源工具 ShellSage(代号 BashBuddy),旨在解决开发者在终端使用 AI 时频繁切换上下文的痛点。该工具集成 tmux 的 capture-pane 功能,使 AI 能“看见”当前终端状态和历史记录,从而提供更具针对性的命令建议和安全警告。文章通过一个 Let's Encrypt 证书泄露排查案例,展示了人机协作在系统管理中的价值,强调其核心是增强而非替代人类直觉。

2024年12月3日周二
2024年11月22日周五
  1. METR:Research62

    METR 发布 RE-Bench:对比语言模型智能体与人类专家的 AI 研发能力

    METR 发布 RE-Bench 基准,用 7 个 ML 研究工程环境衡量人类专家与前沿模型智能体的表现,并公开 71 次人类专家尝试及 Claude 3.5 Sonnet 和 o1-preview 的全部运行转录。

    推荐理由:原文在同一环境公平对比人类专家与前沿模型智能体,并给出长短时间预算下得分反转的关键数据和完整开源转录。

2024年10月3日周四
2024年9月12日周四
  1. Cognition 模型 / Devin 博客60

    Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法

    Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。

    推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

2024年9月5日周四
  1. DeepSeek:API 更新日志78

    DeepSeek V2.5 模型发布:合并升级并提升代码与通用能力

    DeepSeek 将 V2 Chat 与 Coder V2 合并升级为 V2.5,API 用户通过 deepseek-coder 或 deepseek-chat 均可访问。新模型在通用与代码能力上显著提升,ArenaHard winrate 升至 76.3%,HumanEval 达 89%。

    推荐理由:DeepSeek 把 coder 和 chat 合并成 V2.5,API 端点不变但性能全线拉高,已有的集成直接受益,代码和通用能力不再是两张皮。

2024年8月13日周二
2024年7月24日周三
  1. DeepSeek:API 更新日志63

    DeepSeek-Coder 升级为 DeepSeek-Coder-V2-0724

    DeepSeek 将 deepseek-coder 模型升级为 DeepSeek-Coder-V2-0724。此次升级为模型版本更新,具体参数规模、性能基准及可用性细节未在更新日志中披露。

    推荐理由:DeepSeek Coder 升级到 V2-0724,编码能力再进一步,对 API 用户是直接可用的提升,虽然官方没给技术细节,但仍值得关注。

2024年6月18日周二
2024年6月5日周三
2024年5月29日周三
  1. Mistral AI:News73

    Mistral 发布首个代码模型 Codestral,22B 开放权重支持 80+ 编程语言

    Mistral 发布其首个代码生成模型 Codestral,为 22B 开放权重模型,训练覆盖 80+ 编程语言,采用 32k 上下文窗口,并支持 Fill-in-the-middle 补全。

    推荐理由:官方发布首次给出模型规模、语言覆盖和专用端点细则,读者可据此评估是否将其接入现有编码工作流。

2024年3月15日周五
  1. Cognition 模型 / Devin 博客68

    Cognition 发布 Devin 的 SWE-bench 技术报告

    Cognition 发布 Devin 在 SWE-bench 上的技术报告,Devin 在随机抽取的 570 个测试集中解决 79 个问题,成功率 13.86%,高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。

    推荐理由:Cognition 公开了评测方法和 Devin 的代码编辑结果,读者可以对照复现并理解智能体在真实仓库上解题的边界。

2024年3月12日周二
  1. Cognition 模型 / Devin 博客68

    Cognition 发布 AI 软件工程师 Devin,SWE-bench 端到端解决 13.86% 问题

    Cognition 发布 AI 软件工程师 Devin,可规划并执行需要数千次决策的复杂工程任务,配备 shell、代码编辑器和浏览器等沙盒开发环境,并能实时汇报进度、接受反馈与用户协作。

    推荐理由:官方宣布 Devin 并给出 SWE-bench 13.86% 的成绩与具体能力示例,读者可据此评估智能体在真实工程任务中的可用性。

2024年2月8日周四
2023年12月27日周三
  1. Andrej Karpathy:Blog

    Licklider 1960《人机共生》评述

    Licklider 1960年论文《人机共生》提出"智能增强"(IA)是通向AI的过渡阶段,预测人机能力互补——计算机处理机械工作、人类负责思考,这一范式延续64年直至LLM打破界限。他预见云计算雏形,但误判技术路径:当时看好的逻辑推理AI成死胡同,而因缺乏数据被忽视的统计方法(LLM)终成主流。对交互预测也偏离现实:设想的多人协作大屏未普及,键盘鼠标仍是主导;对语音识别"5年实现"的乐观估计,实际耗时64年未成熟。

    推荐理由:Karpathy 借 1960 年文献反思人机共生与 AI 发展路径,历史洞察深刻

2023年12月8日周五
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 发布 AutoTranslateDoc 命令行工具,用 GPT 模型自动翻译技术文档

    LlamaIndex 发布 AutoTranslateDoc,一款命令行工具,可从 GitHub 仓库抓取 .md 和 .mdx 文档,用 GPT-3.5、GPT-4 分块翻译并自动校验后合并输出。

    推荐理由:工具通过分块翻译加多重校验来保证文档翻译质量,并支持差量更新,适合需要维护多语言文档的开发者参考。

2023年10月17日周二
2023年8月29日周二
2023年3月13日周一
  1. LangChain:Blog60

    LangChain 发布 LLM 与 SQL 结合的实践指南

    LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南,并宣布 3 月 22 日举行一小时网络研讨会。

    推荐理由:LangChain 团队系统整理了让 LLM 生成有效 SQL 的三类问题与对应解法,方法可直接迁移到自己的 Text-to-SQL 场景。

2021年8月10日周二
2021年7月7日周三
2020年12月5日周六