跳到正文
2024年10月1日周二
  1. OpenAI:官网动态62

    OpenAI 在 API 中推出模型蒸馏功能

    OpenAI 在其平台上推出 API 模型蒸馏功能,允许用大型前沿模型的输出来微调成本更高效的模型。

    推荐理由:官方宣布 API 上线模型蒸馏功能,读者可据此了解用大模型输出微调低成本模型的路径。

  2. OpenAI:官网动态63

    OpenAI 封禁疑似 SweetSpecter 相关账号

    OpenAI 封禁了一批疑似属于被追踪为 SweetSpecter 的中国相关威胁行为者的账号。OpenAI 称这些账号利用其 AI 研究漏洞、编写代码,并支持鱼叉式钓鱼活动。

    推荐理由:作为当事方封禁通告,说明 SweetSpecter 将 AI 用于漏洞研究、编码和鱼叉式钓鱼的具体环节。

2024年9月26日周四
2024年9月20日周五
  1. BAIR:Berkeley AI Research Blog

    ChatGPT的语言偏见:模型加剧方言歧视

    加州大学伯克利分校研究发现,ChatGPT对非标准英语变体存在系统性偏见。研究团队测试了GPT-3.5 Turbo和GPT-4对10种英语变体(包括标准美式、英式英语及非洲裔美国人、印度、尼日利亚等变体)的回应,发现模型保留标准美式英语特征的比例比其他方言高60%以上。面对非标准变体时,ChatGPT表现出更多刻板印象和贬低性内容,理解能力下降且态度居高临下。研究表明,训练数据构成直接影响对方言的偏见程度。

2024年9月13日周五
  1. ARC Prize:官方博客71

    ARC Prize 实测 OpenAI o1 在 ARC-AGI-Pub 的成绩

    ARC Prize 用统一测试框架测得 o1-preview 在 ARC-AGI 公开评测得 21.2%,与 Claude 3.5 Sonnet 的 21% 相当,但每任务平均耗时 4.2 分钟约为其 10 倍。文章认为 o1 实现了训练时和推理时的 CoT 范式,从记忆答案转向记忆推理,但仍限于预训练数据分布内,测试时算力增加虽能对数级提升准确率,实现 AGI 仍需新思路。

    推荐理由:ARC Prize 用同一测试框架实测 o1 并给出测试时算力与效率分析,读者可借此理解 o1 在 ARC-AGI 上成绩有限的原因。

2024年9月12日周四
  1. OpenAI:官网动态78

    OpenAI 发布 o1 模型

    OpenAI 发布 o1 模型,官方公告题为 Introducing OpenAI o1。本次抓取未获取到正文,更多细节以官方公告页 https://openai.com/index/introducing-openai-o1-preview 为准。

  2. Cognition 模型 / Devin 博客60

    Cognition 评测 OpenAI o1 系列在 Devin 编码智能体上的表现并公开评测方法

    Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。

    推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。

2024年8月20日周二
2024年8月13日周二
2024年8月8日周四
2024年8月6日周二
  1. OpenAI:官网动态69

    OpenAI API 推出 Structured Outputs 功能

    OpenAI 在 API 中推出 Structured Outputs 功能,模型输出现在能够可靠地遵循开发者提供的 JSON Schema。

    推荐理由:OpenAI 官方宣布 API 输出可遵循开发者提供的 JSON Schema,对需要稳定结构化输出的工程场景有直接参考价值。

2024年7月25日周四
2024年7月24日周三
2024年7月18日周四
2024年7月10日周三
2024年6月27日周四
  1. LMSYS Blog

    Chatbot Arena 推出多模态排行榜

    Chatbot Arena 新增图像对战功能并发布多模态排行榜。基于两周内17,429份跨60余种语言的投票,GPT-4o以1226分领跑,Claude 3.5 Sonnet以1209分紧随其后,两者视觉优势较纯语言模型更明显。Gemini 1.5 Pro与GPT-4 Turbo并列第三,开源模型Llava 1.6 34B位列第八。平台同步将"Elo评分"更名为"Arena Score",并计划扩展至PDF、视频及音频等模态支持。

2024年6月21日周五
2024年6月20日周四
2024年6月10日周一
2024年6月6日周四
2024年5月30日周四
2024年5月29日周三
2024年5月28日周二