OpenAI 发布 SWE-Lancer 基准，检验前沿 LLM 能否靠真实软件工程自由职业赚取 100 万美元
OpenAI 发布 SWE-Lancer 基准，探讨前沿大语言模型能否通过真实世界的自由职业软件工程任务赚取 100 万美元。当前仅有官方摘要，基准的任务构成与具体结果暂未公布。
#评测/基准
OpenAI：官网动态AI 评分5959
ARC Prize：官方博客AI 评分5353 ARC Prize 发布 SnakeBench：50 个 LLM 贪吃蛇对战实验，o3-mini 与 DeepSeek-R1 领跑
ARC Prize 团队推出实验性基准 SnakeBench，用 2.8K 场 2v2 之外的 LLM 贪吃蛇对战测试 50 个模型的动态环境决策能力。o3-mini（ELO 1825）和 DeepSeek-R1（1801）居前二，推理模型合计赢下 78% 对局；榜单和代码开源，详见 https://arcprize.org/blog/snakebench。
METR：ResearchAI 评分5858 METR 发布 Claude 3.5 Sonnet (New) 与 o1 的初步危险能力评测结果
METR 对 Anthropic 升级版 Claude 3.5 Sonnet（2024 年 10 月版）和 OpenAI o1 部署前检查点进行初步评测，未发现危险能力水平的显著证据。
ARC Prize：官方博客精选AI 评分8383 ARC Prize 实测 OpenAI o3 在 ARC-AGI-Pub 取得突破性高分
ARC Prize 官方测试报告显示，OpenAI o3 在 ARC-AGI-1 Semi-Private 评测中以 $10k 算力上限取得 75.7%，高算力（172 倍）配置达 87.5%，Public Eval 高算力为 82.8%、低算力为 91.5%。
推荐理由：ARC Prize 官方第一手测试数据，给出 o3 在 ARC-AGI 各算力档位的得分、成本和机制解读。
英国 AI Security Institute：Blog精选AI 评分6161 英国 AI Safety Institute 提出 Long-Form Task 方法评估 LLM 科学助手能力
英国 AI Safety Institute（AISI）提出 Long-Form Task（LFT）评估方法，作为人类提升研究（HUS）的可自动化替代，用于测量 LLM 在科学场景中提供分步指导的能力。
推荐理由：原文给出 LFT 评估方法的设计细节与案例结果，读者可了解自动评估科学助手能力如何平衡可解释性与可部署性。
英国 AI Security Institute：BlogAI 评分5353 英国 AI Security Institute 发布 Inspect Evals 开源评测库
英国 AI Security Institute 宣布推出 Inspect Evals，一个社区共建的 LLM 基准评测仓库，与 Arcadia Impact 和 Vector Institute 合作开发，提供数十个面向安全研究的开源评测，覆盖编码、数学、网络安全、防护、推理和通识等领域。
OpenAI：官网动态AI 评分4040 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试面向机器学习工程场景，评估智能体完成相关工作的能力。
英国 AI Security Institute：BlogAI 评分4848 英国 AI Security Institute 如何开发前沿 AI 开放式问答评测
英国 AI Security Institute 分享了其开发开放式问答（QA）评测的经验，该评测通过提示模型回答数百个问题并自动评分，比多选题更能反映真实对话场景。评测通过其开源框架 Inspect 运行，答案通常为 100 至 400 词，开发流程涵盖起草有挑战性的问题、编写细致的评分指南等五个步骤。
LMSYS Blog Chatbot Arena 正式启用独立网站 lmarena.ai
Chatbot Arena 正式启用独立网站 lmarena.ai 及博客，从 LMSys 研究集体中独立运营以确保长期发展。该平台过去一年已发展为成熟的生态系统，未来将与 LMSys 保持紧密合作，并扩展评估范围至编程、复杂任务和红队测试等前沿模型领域。LMSys 将继续作为 Vicuna、SGLang 等项目的孵化器，专注于开放研究与开发。
ARC Prize：官方博客AI 评分6060 ARC Prize 发布 3 个月进展：大奖提高至 $600k，启动 ARC-AGI 下一版本开发
ARC Prize 公布 2024 赛事 3 个月进展，Grand Prize 从 $500k 提高到 $600k，Paper Awards 从 $50k 提高到 $75k，SOTA 从 34% 升至 46%。
ARC Prize：官方博客精选AI 评分7171 ARC Prize 实测 OpenAI o1 在 ARC-AGI-Pub 的成绩
ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%，与 Claude 3.5 Sonnet 的 21% 相当，但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式，从记忆答案转向记忆推理，但仍限于预训练数据分布内，测试时算力增加虽能对数级提升准确率，实现 AGI 仍需新思路。
推荐理由：ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析，读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。
LMSYS Blog 风格是否重要？在 Chatbot Arena 中解耦风格与实质
Chatbot Arena 团队发布经风格控制调整后的新排行榜，通过 Bradley-Terry 回归控制回答长度及 markdown 格式（标题、加粗、列表）的影响，将模型实质能力与表达风格解耦。调整后排名出现显著变化：GPT-4o-mini 和 Grok-2-mini 排名降至多数前沿模型之下，而 Claude 3.5 Sonnet、Opus 和 Llama-3.1-405B 显著上升。在 Hard Prompt 子榜中，Claude 3.5 Sonnet 与 chatgpt-4o-latest 并列第一，Llama-3.1-405B 升至第三。
OpenAI：官网动态AI 评分5454 OpenAI 发布人工校验版 SWE-bench Verified 评测集
OpenAI 发布 SWE-bench 的人工校验子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实世界软件问题的能力。
ARC Prize：官方博客AI 评分5353 ARC Prize 通讯：MindsAI 以 41% 首次突破 ARC-AGI 40% 大关
ARC Prize 官方社区通讯宣布，Jack Cole、Michael Hodel 和 Mohammed Osman 组成的 MindsAI 团队以 41% 的新 SOTA 成绩首次打破 ARC-AGI 的 40% 屏障。
LangChain：BlogAI 评分5454 LangSmith 推出自改进 LLM-as-a-Judge 评估器
LangChain 为 LangSmith 评估器推出自改进功能：用户在应用内对 LLM-as-a-Judge 的反馈做修正，修正会自动存为 few-shot 示例并注入后续提示词。该机制借鉴了 Berkeley 的 Who Validates the Validators? 论文，让评估器逐步对齐人类偏好，无需额外提示词工程。
ARC Prize：官方博客AI 评分5353 ARC Prize 推出 ARC-AGI-Pub 公开排行榜并投入 15 万美元验证基金
ARC Prize 官方推出 ARC-AGI-Pub 公开排行榜，使用公开评测集、允许联网且不设算力限制（保留成本上限），并投入 15 万美元验证基金，对验证复现高分方案者报销最高 2,500 美元 API 费用。
LMSYS Blog Chatbot Arena 推出多模态排行榜
Chatbot Arena 新增图像对战功能并发布多模态排行榜。基于两周内17,429份跨60余种语言的投票，GPT-4o以1226分领跑，Claude 3.5 Sonnet以1209分紧随其后，两者视觉优势较纯语言模型更明显。Gemini 1.5 Pro与GPT-4 Turbo并列第三，开源模型Llava 1.6 34B位列第八。平台同步将"Elo评分"更名为"Arena Score"，并计划扩展至PDF、视频及音频等模态支持。
Sierra：Blog精选AI 评分6363 Sierra 发布 τ-bench 基准，评测 AI Agent 在真实场景下的表现与可靠性
Sierra AI 研究团队发布 τ-bench（τ-retail 和 τ-airline 两个领域）基准，通过 LLM 模拟用户与工具 API 的多轮动态交互，评估 Agent 完成复杂任务并遵循领域策略的能力，并提出 pass^k 可靠性指标。
推荐理由：原文由团队自述基准设计动机与结果，读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。
LMSYS Blog Chatbot Arena新增Hard Prompts高难度评测类别
Chatbot Arena推出Hard Prompts新评测类别，基于特定性、领域知识、复杂度等7项标准对100万条提示词评分，筛选得分≥6的高难度提示（约占20%）构建榜单。新榜单显示，Llama-3-8B-Instruct排名较英语总榜显著下滑，Claude-3-Opus超越Llama-3-70B-Instruct，GPT-4o等模型表现提升。平台同步实施去重机制减少高频问候干扰。
LMSYS Blog 技术博客：Llama 3 表现如何？Arena 数据分析
Meta 于 4 月 18 日发布的开源模型 Llama 3-70B 在 Chatbot Arena 排行榜迅速登顶，参与超 5 万次对战。该模型在开放式写作和创意任务上表现突出，胜率达 60%，但在数学、编码等封闭式技术任务上逊于 GPT-4-Turbo 和 Claude 3 Opus。随着提示难度增加，其胜率从 50% 显著下降至 40%。分析显示，Llama 3 的输出风格更友好且具对话性，这成为其获得用户偏好的关键因素。
LMSYS Blog LMSYS 与 Kaggle 联合举办人类偏好预测竞赛，奖金 10 万美元
LMSYS 与 Kaggle 联合发起一项人类偏好预测竞赛，总奖金池达 10 万美元。参赛者需构建预测模型，判断用户在大型语言模型（LLM）两两对决中更偏好哪个回答。竞赛基于 LMSYS Arena 的真实对战数据，旨在通过众包方式探索更准确的 LLM 评估方法，推动模型与人类偏好对齐。比赛面向全球开发者开放，获胜方案有望改进现有大模型排名机制。
英国 AI Security Institute：BlogAI 评分5757 英国 AI Security Institute 开源大模型评测框架 Inspect
英国 AI Security Institute 宣布开源其大语言模型评测框架 Inspect。该框架提供提示工程、工具使用、多轮对话和模型评分评测等功能，发布于 2024 年 4 月 21 日。
LMSYS Blog 从实时数据到高质量基准：Arena-Hard Pipeline
研究团队推出 Arena-Hard 数据流程及 Arena Hard Auto v0.1 基准测试，用于从 Chatbot Arena 实时用户数据中自动构建高质量 LLM 评估集。该基准在模型区分度上显著优于 MT Bench，与 Chatbot Arena 人类偏好排序的一致性达 89.1%，可分离性达 87.4%，单次评估成本仅需 25 美元。流程通过主题建模从 20 万条用户查询中筛选多样化、高质量提示词，并采用 GPT-4-Turbo 作为评判，解决了传统静态基准测试集泄露和区分度不足的问题。
LlamaIndex：产品、工程与评测AI 评分4141 用 UpTrain 评估为你的 LlamaIndex RAG 流水线提速
LlamaIndex 与开源 LLM 评估框架 UpTrain 完成集成，开发者只需添加几行代码，UpTrain Callback Handler 即可自动评估 RAG 流水线生成的响应质量、检索上下文质量及各中间步骤表现。
Cognition 模型 / Devin 博客精选AI 评分6868 Cognition 发布 Devin 的 SWE-bench 技术报告
Cognition 发布 Devin 在 SWE-bench 上的技术报告，Devin 在随机抽取的 570 个测试集中解决 79 个问题，成功率 13.86%，高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。
推荐理由：Cognition 公开了评测方法和 Devin 的代码编辑结果，读者可以对照复现并理解智能体在真实仓库上解题的边界。
LMSYS Blog LMSYS Chatbot Arena：实时社区驱动的大模型评估平台
LMSYS Chatbot Arena是由LMSYS和UC Berkeley SkyLab于2023年5月推出的开源评估平台，基于FastChat框架构建。平台通过实时两两对比已收集超80万张社区投票，评估了GPT-4、Gemini、Llama、Mistral等90余个模型。坚持透明原则，仅收录API或开源权重可访问的公开模型，同时支持未发布模型匿名测试。团队定期开放20%投票数据（含提示词、回答及用户偏好），致力于通过社区驱动的实时评估推进大语言模型研究。
LlamaIndex：产品、工程与评测AI 评分4848 LlamaIndex 发布两款新 llama-dataset，并用 MT-Bench 对比 Gemini 与 GPT 评估能力
LlamaIndex 推出 LabelledEvaluatorDataset 和 LabelledPairwiseEvaluatorDataset 两款新 llama-dataset，用于评测作为评估器的 LLM，并配套发布 EvaluatorBenchmarkerPack。
LlamaIndex：产品、工程与评测AI 评分5959 LlamaIndex 实测 RAG 评估：开源 Prometheus 模型对比 GPT-4
LlamaIndex 发布教程，演示如何在 LlamaIndex 框架中用开源 Prometheus 模型对 RAG 做评估，并与 GPT-4 在 Correctness、Faithfulness、Context Relevancy 三项指标上对比。
LMSYS Blog Chatbot Arena更新：新开源模型领先，评分系统升级
Chatbot Arena平台已收集超13万张投票，对40余个模型进行排名。新加入的Tulu-2-DPO-70B和Yi-34B-Chat在开源模型中领先，性能接近GPT-3.5；基于Mistral的7B模型也展现强劲实力。平台正从Elo评分系统转向Bradley-Terry模型以提升稳定性。数据还显示GPT-4-0314与GPT-4-0613存在显著性能差异，而GPT-3.5-turbo-1106版本出现意外性能下滑。
LlamaIndex：产品、工程与评测AI 评分5858 LlamaIndex 推出 Llama Datasets 社区数据集，用于 RAG 流水线基准评测
LlamaIndex 发布 Llama Datasets，一组由社区贡献、含问答对和源上下文的数据集，用于对不同用例的 RAG 流水线做基准评测，首批上线 10 个数据集，包括 PaulGrahamEssayDataset、FinanceBench、Uber/Lyft 2021 10K Filings 等。
LMSYS Blog Catch me if you can！13B模型如何击败GPT-4：Llama-rephraser在MMLU、GSM-8K、HumanEval基准测试中达到GPT-4性能
简单改写或翻译测试集即可让13B模型在MMLU、GSM-8K和HumanEval等基准测试中达到GPT-4性能（MMLU 85.9分），而现有n-gram和嵌入相似度去污染方法完全无法检测此类样本。研究团队推出LLM Decontaminator工具，利用大模型评估潜在改写对，在The Stack、RedPajama等真实数据集中发现显著污染，甚至检测到MATH基准训练-测试集之间的数据重叠。
LlamaIndex：产品、工程与评测精选AI 评分6464 LlamaIndex 评测：如何为 RAG 挑选最佳 Embedding 与 Reranker 模型组合
LlamaIndex 用其 Retrieval Evaluation 模块，以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型（OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等）搭配不同 Reranker 的检索效果。
推荐理由：原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据，读者可以照此在自己的数据上选型。
LMSYS Blog LMSYS Org 发布 Chatbot Arena 人类偏好数据集
LMSYS Org 发布 Chatbot Arena 两大人类偏好数据集：33K 条真实对话（涵盖 GPT-4、Claude 等 20 个模型）及 3K 条 MT-bench 专家标注。平台上线三个月已收集 19K 独立 IP 的 53K 次投票，覆盖 22 个模型。最新排行榜新增 LLaMA 2、Claude 2 等模型。MT-bench 评估显示人类与 GPT-4 评判一致性超 80%。数据包含真实场景下的模型输出，可用于 RLHF 训练与模型安全研究。
LMSYS Blog Chatbot Arena第8周榜单：推出MT-Bench与Vicuna-33B
Chatbot Arena发布第8周排行榜，新增Vicuna-v1.3系列开源模型（7B-33B参数）及MT-Bench评估基准。MT-Bench包含80道多轮题目，涵盖写作、推理等8类，由GPT-4评分。新榜采用三项指标：基于4.2万匿名投票的Arena Elo、MT-Bench分数及MMLU。结果显示，GPT-4以8.99分和1227分领先，Vicuna-33B获7.12分，性能接近Claude与GPT-3.5-turbo。
LMSYS Blog LMSYS 发布最新大语言模型排行榜（第4周）
LMSYS Org 发布基于 27K 条匿名投票的大模型排行榜（4 月 24 日-5 月 22 日）。GPT-4（1225 分）居首，Claude-v1（1195 分）与 Claude-instant-v1（1153 分）紧随其后。新加入的 Google PaLM 2（1042 分）位列第六，虽对顶级模型胜率过半，但因过度监管（20.9% 对局因拒答失利），竟在 21.6% 比赛中输给非头部模型，表现不及 GPT-3.5-turbo（12.8%）。
LlamaIndex：产品、工程与评测精选AI 评分6565 LlamaIndex 实测 Anthropic Claude 100K 上下文窗口处理 SEC 10-K 文件的表现
LlamaIndex 在 UBER 2019-2022 年 SEC 10-K 文件上测试 Anthropic 新推出的 100K token 上下文窗口。由于单份 10-K 约 160k token 仍超出窗口，作者用 list index 切成约 100k token 大块并测试响应合成策略。
推荐理由：作者用 UBER 10-K 实测 Claude 100K 上下文的延迟、成本与回答质量，并给出 tree_summarize 优于 create-and-refine 的可复用结论。
LMSYS Blog Chatbot Arena第二周排行榜：GPT-4居首，Claude紧随其后
LMSYS Org发布Chatbot Arena第二周排行榜，新增GPT-4、Claude-v1、GPT-3.5-turbo和RWKV-4-Raven-14B四款模型。基于1.3万条匿名投票的Elo评分显示，GPT-4以1274分领跑，Claude-v1（1224分）和GPT-3.5-turbo（1155分）分列二、三位。专有模型与开源模型差距显著，GPT-4对Vicuna-13B胜率达82%，但Claude在66场非平局对决中对GPT-4取得48%胜率。RWKV-4-Raven-14B作为非Transformer架构的RNN模型排名第六，表现超出预期。
LMSYS Blog Chatbot Arena：基于Elo评分的众包大模型评测平台
LMSYS推出Chatbot Arena平台，通过众包匿名对战机制与Elo评分系统对LLM进行排名。基于4.7K投票数据的初始榜单显示，Vicuna-13b以1169分位居榜首，Koala-13b和OASST-Pythia-12b分列二、三位。用户通过与两个匿名模型实时对话并投票，帮助解决开放式问题的自动评估难题，具备可扩展性和增量评估能力。
LMSYS BlogAI 评分7979 LMSYS 发布开源聊天模型 Vicuna-13B，用 ShareGPT 对话微调 LLaMA，训练成本约 $300
LMSYS 团队发布 Vicuna-13B，通过约 70K ShareGPT 用户共享对话微调 LLaMA，训练成本约 $300，代码、权重和在线 demo 以非商业许可公开。GPT-4 作为评审的初步评估显示其达到 ChatGPT/Bard 90% 以上质量，在 45% 问题上不逊于 ChatGPT；团队同时提出基于 GPT-4 的自动评测框架，并说明其尚非严谨方法。
METR：Research精选AI 评分7070 ARC 发布 Claude 与 GPT-4 危险能力评测进展
ARC 作为第三方评估方与 Anthropic、OpenAI 等实验室合作，在受控环境中测试前沿模型自主获取资源、逃避人工监督的危险能力。结论是被测的 Claude 和 GPT-4 版本均未能产出可信的完整自主复制计划，执行中易出错、有幻觉、难以在多副本间分派任务，但能部分完成浏览网页、雇佣人类代办、制定长期计划等子任务。
推荐理由：ARC 公布了危险能力评测的动机、方法与结论，读者可以了解模型自主复制能力的评估方式。