Sierra 发布 τ-bench 基准，评测 AI Agent 在真实场景下的表现与可靠性
Sierra AI 研究团队发布 τ-bench（τ-retail 和 τ-airline 两个领域）基准，通过 LLM 模拟用户与工具 API 的多轮动态交互，评估 Agent 完成复杂任务并遵循领域策略的能力，并提出 pass^k 可靠性指标。
推荐理由：原文由团队自述基准设计动机与结果，读者可借此了解现有 Agent 评测在多轮动态交互和可靠性衡量上的缺口。
#评测/基准
Sierra：Blog精选AI 评分6363
LMSYS Blog Chatbot Arena新增Hard Prompts高难度评测类别
Chatbot Arena推出Hard Prompts新评测类别，基于特定性、领域知识、复杂度等7项标准对100万条提示词评分，筛选得分≥6的高难度提示（约占20%）构建榜单。新榜单显示，Llama-3-8B-Instruct排名较英语总榜显著下滑，Claude-3-Opus超越Llama-3-70B-Instruct，GPT-4o等模型表现提升。平台同步实施去重机制减少高频问候干扰。
LMSYS Blog 技术博客：Llama 3 表现如何？Arena 数据分析
Meta 于 4 月 18 日发布的开源模型 Llama 3-70B 在 Chatbot Arena 排行榜迅速登顶，参与超 5 万次对战。该模型在开放式写作和创意任务上表现突出，胜率达 60%，但在数学、编码等封闭式技术任务上逊于 GPT-4-Turbo 和 Claude 3 Opus。随着提示难度增加，其胜率从 50% 显著下降至 40%。分析显示，Llama 3 的输出风格更友好且具对话性，这成为其获得用户偏好的关键因素。
LMSYS Blog LMSYS 与 Kaggle 联合举办人类偏好预测竞赛，奖金 10 万美元
LMSYS 与 Kaggle 联合发起一项人类偏好预测竞赛，总奖金池达 10 万美元。参赛者需构建预测模型，判断用户在大型语言模型（LLM）两两对决中更偏好哪个回答。竞赛基于 LMSYS Arena 的真实对战数据，旨在通过众包方式探索更准确的 LLM 评估方法，推动模型与人类偏好对齐。比赛面向全球开发者开放，获胜方案有望改进现有大模型排名机制。
英国 AI Security Institute：BlogAI 评分5757 英国 AI Security Institute 开源大模型评测框架 Inspect
英国 AI Security Institute 宣布开源其大语言模型评测框架 Inspect。该框架提供提示工程、工具使用、多轮对话和模型评分评测等功能，发布于 2024 年 4 月 21 日。
LMSYS Blog 从实时数据到高质量基准：Arena-Hard Pipeline
研究团队推出 Arena-Hard 数据流程及 Arena Hard Auto v0.1 基准测试，用于从 Chatbot Arena 实时用户数据中自动构建高质量 LLM 评估集。该基准在模型区分度上显著优于 MT Bench，与 Chatbot Arena 人类偏好排序的一致性达 89.1%，可分离性达 87.4%，单次评估成本仅需 25 美元。流程通过主题建模从 20 万条用户查询中筛选多样化、高质量提示词，并采用 GPT-4-Turbo 作为评判，解决了传统静态基准测试集泄露和区分度不足的问题。
LlamaIndex：产品、工程与评测AI 评分4141 用 UpTrain 评估为你的 LlamaIndex RAG 流水线提速
LlamaIndex 与开源 LLM 评估框架 UpTrain 完成集成，开发者只需添加几行代码，UpTrain Callback Handler 即可自动评估 RAG 流水线生成的响应质量、检索上下文质量及各中间步骤表现。
Cognition 模型 / Devin 博客精选AI 评分6868 Cognition 发布 Devin 的 SWE-bench 技术报告
Cognition 发布 Devin 在 SWE-bench 上的技术报告，Devin 在随机抽取的 570 个测试集中解决 79 个问题，成功率 13.86%，高于此前最强的辅助设定基线 Claude 2 的 4.80% 和无辅助设定的 1.96%。
推荐理由：Cognition 公开了评测方法和 Devin 的代码编辑结果，读者可以对照复现并理解智能体在真实仓库上解题的边界。
LMSYS Blog LMSYS Chatbot Arena：实时社区驱动的大模型评估平台
LMSYS Chatbot Arena是由LMSYS和UC Berkeley SkyLab于2023年5月推出的开源评估平台，基于FastChat框架构建。平台通过实时两两对比已收集超80万张社区投票，评估了GPT-4、Gemini、Llama、Mistral等90余个模型。坚持透明原则，仅收录API或开源权重可访问的公开模型，同时支持未发布模型匿名测试。团队定期开放20%投票数据（含提示词、回答及用户偏好），致力于通过社区驱动的实时评估推进大语言模型研究。
Hugging Face 社区博客AI 评分5252 Hugging Face 推出 TTS Arena：实战对比文生语音模型
Hugging Face 推出 TTS Arena，一个在真实使用中对比评测文生语音（TTS）模型的基准平台。正文抓取失败，仅标题可用，更多细节以原文链接 https://huggingface.co/blog/arena-tts 为准。
LlamaIndex：产品、工程与评测AI 评分4848 LlamaIndex 发布两款新 llama-dataset，并用 MT-Bench 对比 Gemini 与 GPT 评估能力
LlamaIndex 推出 LabelledEvaluatorDataset 和 LabelledPairwiseEvaluatorDataset 两款新 llama-dataset，用于评测作为评估器的 LLM，并配套发布 EvaluatorBenchmarkerPack。
LlamaIndex：产品、工程与评测AI 评分5959 LlamaIndex 实测 RAG 评估：开源 Prometheus 模型对比 GPT-4
LlamaIndex 发布教程，演示如何在 LlamaIndex 框架中用开源 Prometheus 模型对 RAG 做评估，并与 GPT-4 在 Correctness、Faithfulness、Context Relevancy 三项指标上对比。
LMSYS Blog Chatbot Arena更新：新开源模型领先，评分系统升级
Chatbot Arena平台已收集超13万张投票，对40余个模型进行排名。新加入的Tulu-2-DPO-70B和Yi-34B-Chat在开源模型中领先，性能接近GPT-3.5；基于Mistral的7B模型也展现强劲实力。平台正从Elo评分系统转向Bradley-Terry模型以提升稳定性。数据还显示GPT-4-0314与GPT-4-0613存在显著性能差异，而GPT-3.5-turbo-1106版本出现意外性能下滑。
LlamaIndex：产品、工程与评测AI 评分5858 LlamaIndex 推出 Llama Datasets 社区数据集，用于 RAG 流水线基准评测
LlamaIndex 发布 Llama Datasets，一组由社区贡献、含问答对和源上下文的数据集，用于对不同用例的 RAG 流水线做基准评测，首批上线 10 个数据集，包括 PaulGrahamEssayDataset、FinanceBench、Uber/Lyft 2021 10K Filings 等。
LMSYS Blog Catch me if you can！13B模型如何击败GPT-4：Llama-rephraser在MMLU、GSM-8K、HumanEval基准测试中达到GPT-4性能
简单改写或翻译测试集即可让13B模型在MMLU、GSM-8K和HumanEval等基准测试中达到GPT-4性能（MMLU 85.9分），而现有n-gram和嵌入相似度去污染方法完全无法检测此类样本。研究团队推出LLM Decontaminator工具，利用大模型评估潜在改写对，在The Stack、RedPajama等真实数据集中发现显著污染，甚至检测到MATH基准训练-测试集之间的数据重叠。
LlamaIndex：产品、工程与评测精选AI 评分6464 LlamaIndex 评测：如何为 RAG 挑选最佳 Embedding 与 Reranker 模型组合
LlamaIndex 用其 Retrieval Evaluation 模块，以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型（OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等）搭配不同 Reranker 的检索效果。
推荐理由：原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据，读者可以照此在自己的数据上选型。
Hamel Husain 长文AI 评分5858 开源 LLM 推理延迟实测：mlc 最快，CTranslate2 兼顾速度与易用
Hamel Husain 在 A6000 GPU 上以 batch size = 1、max output tokens = 200、固定 9 个提示词，对 meta-llama/Llama-2-7b-hf 的多种推理方案做延迟基准。
LMSYS Blog LMSYS Org 发布 Chatbot Arena 人类偏好数据集
LMSYS Org 发布 Chatbot Arena 两大人类偏好数据集：33K 条真实对话（涵盖 GPT-4、Claude 等 20 个模型）及 3K 条 MT-bench 专家标注。平台上线三个月已收集 19K 独立 IP 的 53K 次投票，覆盖 22 个模型。最新排行榜新增 LLaMA 2、Claude 2 等模型。MT-bench 评估显示人类与 GPT-4 评判一致性超 80%。数据包含真实场景下的模型输出，可用于 RLHF 训练与模型安全研究。
LMSYS Blog Chatbot Arena第8周榜单：推出MT-Bench与Vicuna-33B
Chatbot Arena发布第8周排行榜，新增Vicuna-v1.3系列开源模型（7B-33B参数）及MT-Bench评估基准。MT-Bench包含80道多轮题目，涵盖写作、推理等8类，由GPT-4评分。新榜采用三项指标：基于4.2万匿名投票的Arena Elo、MT-Bench分数及MMLU。结果显示，GPT-4以8.99分和1227分领先，Vicuna-33B获7.12分，性能接近Claude与GPT-3.5-turbo。
LMSYS Blog LMSYS 发布最新大语言模型排行榜（第4周）
LMSYS Org 发布基于 27K 条匿名投票的大模型排行榜（4 月 24 日-5 月 22 日）。GPT-4（1225 分）居首，Claude-v1（1195 分）与 Claude-instant-v1（1153 分）紧随其后。新加入的 Google PaLM 2（1042 分）位列第六，虽对顶级模型胜率过半，但因过度监管（20.9% 对局因拒答失利），竟在 21.6% 比赛中输给非头部模型，表现不及 GPT-3.5-turbo（12.8%）。
LlamaIndex：产品、工程与评测精选AI 评分6565 LlamaIndex 实测 Anthropic Claude 100K 上下文窗口处理 SEC 10-K 文件的表现
LlamaIndex 在 UBER 2019-2022 年 SEC 10-K 文件上测试 Anthropic 新推出的 100K token 上下文窗口。由于单份 10-K 约 160k token 仍超出窗口，作者用 list index 切成约 100k token 大块并测试响应合成策略。
推荐理由：作者用 UBER 10-K 实测 Claude 100K 上下文的延迟、成本与回答质量，并给出 tree_summarize 优于 create-and-refine 的可复用结论。
LMSYS Blog Chatbot Arena第二周排行榜：GPT-4居首，Claude紧随其后
LMSYS Org发布Chatbot Arena第二周排行榜，新增GPT-4、Claude-v1、GPT-3.5-turbo和RWKV-4-Raven-14B四款模型。基于1.3万条匿名投票的Elo评分显示，GPT-4以1274分领跑，Claude-v1（1224分）和GPT-3.5-turbo（1155分）分列二、三位。专有模型与开源模型差距显著，GPT-4对Vicuna-13B胜率达82%，但Claude在66场非平局对决中对GPT-4取得48%胜率。RWKV-4-Raven-14B作为非Transformer架构的RNN模型排名第六，表现超出预期。
LMSYS Blog Chatbot Arena：基于Elo评分的众包大模型评测平台
LMSYS推出Chatbot Arena平台，通过众包匿名对战机制与Elo评分系统对LLM进行排名。基于4.7K投票数据的初始榜单显示，Vicuna-13b以1169分位居榜首，Koala-13b和OASST-Pythia-12b分列二、三位。用户通过与两个匿名模型实时对话并投票，帮助解决开放式问题的自动评估难题，具备可扩展性和增量评估能力。
LMSYS BlogAI 评分7979 LMSYS 发布开源聊天模型 Vicuna-13B，用 ShareGPT 对话微调 LLaMA，训练成本约 $300
LMSYS 团队发布 Vicuna-13B，通过约 70K ShareGPT 用户共享对话微调 LLaMA，训练成本约 $300，代码、权重和在线 demo 以非商业许可公开。GPT-4 作为评审的初步评估显示其达到 ChatGPT/Bard 90% 以上质量，在 45% 问题上不逊于 ChatGPT；团队同时提出基于 GPT-4 的自动评测框架，并说明其尚非严谨方法。
METR：Research精选AI 评分7070 ARC 发布 Claude 与 GPT-4 危险能力评测进展
ARC 作为第三方评估方与 Anthropic、OpenAI 等实验室合作，在受控环境中测试前沿模型自主获取资源、逃避人工监督的危险能力。结论是被测的 Claude 和 GPT-4 版本均未能产出可信的完整自主复制计划，执行中易出错、有幻觉、难以在多副本间分派任务，但能部分完成浏览网页、雇佣人类代办、制定长期计划等子任务。
推荐理由：ARC 公布了危险能力评测的动机、方法与结论，读者可以了解模型自主复制能力的评估方式。
Hugging Face 社区博客精选AI 评分6565 Hugging Face 发布 MTEB 大规模文本嵌入基准与排行榜
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于衡量文本嵌入模型在多类任务上的表现，排行榜已汇总超过 2000 条结果。
推荐理由：原文给出 56 个数据集、8 类任务、112 种语言的嵌入模型评测结果和模型选择分组，可用于按任务挑合适的嵌入模型。
Hugging Face 社区博客AI 评分5353 Hugging Face 推出 Evaluation on the Hub 支持大模型零样本评测
Hugging Face 宣布 Evaluation on the Hub 支持对 Hub 上任意 causal language model 做零样本评测，由 AutoTrain 驱动、无需写代码且免费。
EleutherAI：Blog 语言模型评估中的多项选择归一化
自回归语言模型（GPT-3、GPT-Neo、GPT-J 等）的多项选择任务评估存在多种实现路径。文章系统梳理了当前主流的归一化（Normalization）方法，针对模型在不同选项上的概率计算方式、长度偏差修正及分数标准化技术进行详细阐述，为统一语言模型评测标准提供方法论参考。
OpenAI：官网动态精选AI 评分6666 OpenAI 发表针对代码训练大语言模型的评估研究
OpenAI 发布论文《Evaluating large language models trained on code》，主题是在代码上训练的大语言模型的评估。（仅标题可用，正文抓取失败）
EleutherAI：Blog 关于 OpenAI API 模型规模的探讨
研究团队利用 eval harness 评估框架，通过对比 OpenAI API 模型在标准测试集上的性能表现，成功反向推算出其模型参数规模。该方法基于模型能力与参数量之间的相关性，分析了包括 GPT 系列在内的闭源模型在各项任务中的得分差异，揭示了 OpenAI 未公开披露的模型大小信息，为理解这些模型的实际规模与能力边界提供了量化依据。
EleutherAI：Blog 在下游任务上微调模型
研究团队对GPT-Neo模型开展下游任务微调实验，利用eval harness评测体系进行针对性训练，系统观测微调过程对其性能表现产生的具体影响。实验通过调整模型参数适配特定任务，评估预训练模型在下游场景中的能力变化与适应性表现，为理解微调对模型性能的优化效果提供实证数据支撑。
OpenAI：官网动态精选AI 评分8282 OpenAI Five 击败 Dota 2 世界冠军战队 OG
OpenAI Five 在周末的决赛中连赢两局击败 Dota 2 世界冠军战队 OG，成为首个战胜电竞世界冠军的 AI，也是 AI 首次在直播比赛中战胜电竞职业选手。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下对局中战胜优秀职业选手，但在公开职业比赛中落败。
推荐理由：原文记录了 AI 首次在公开直播比赛中击败电竞世界冠军的节点，并交代了与此前私下对局结果的对比背景。
OpenAI：官网动态精选AI 评分6666 OpenAI Five 在 The International 2018 惜败顶级 Dota 2 选手
OpenAI Five 本周在温哥华 The International 2018 上与顶级 Dota 2 选手对战两场皆负，但两局前 20-35 分钟都保持较大获胜机会。
推荐理由：OpenAI 官方复盘 OpenAI Five 在 The International 的两场失利，指出前期 20-35 分钟保持优势这一具体表现。
OpenAI：官网动态精选AI 评分7474 OpenAI Five 在表演赛中战胜 99.95 百分位 Dota 玩家队伍
OpenAI Five 在三局两胜的比赛中战胜由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的队伍，其中四人曾打过职业 Dota。比赛面向现场观众并有 10 万人同时在线观看直播。
推荐理由：原文记录了 OpenAI Five 击败高分段 Dota 战队的比赛结果，可作为 AI 在复杂即时对战场景进展的早期事件参考。
OpenAI：官网动态AI 评分5555 OpenAI Five Benchmark 比赛结束
OpenAI 官方宣布 OpenAI Five Benchmark 比赛现已结束。