跳到正文
2025年11月3日周一
  1. LMSYS Blog

    在 NVIDIA DGX Spark 上优化 GPT-OSS:实现本地大模型部署

    与 NVIDIA 合作,在 DGX Spark 上通过 SGLang 成功支持 GPT-OSS 20B 与 120B 模型,实现 20B 版本约 70 tokens/s、120B 版本约 50 tokens/s 的生成速度,达到目前最优水平。用户可通过 Docker 部署 SGLang 服务,接入 Open WebUI 实现本地聊天,或借助 LMRouter 转换请求格式以完全本地化运行 Claude Code。该方案使在 DGX Spark 上部署多百亿参数本地编码智能体成为现实。

    推荐理由:DGX Spark本地跑通Claude Code完全离线,隐私敏感开发者的新选择

2025年10月30日周四
  1. Claude:Blog

    金融服务领域构建 AI 代理指南

    Claude 发布金融服务 AI 代理构建指南,分享 NBIM、Brex 等机构实践。NBIM 员工每周节省数百小时,McKinsey 研究显示欺诈检测生产力可提升 200% 至 2000%。AI 代理能自主整合多源数据、执行跨系统操作,在合规框架下处理客户服务与风险分析,将传统分析工具升级为可独立完成交易的自主系统。

    推荐理由:Anthropic官方分享金融AI智能体落地实践,含NBIM、Brex等真实案例与效率数据。

2025年10月27日周一
  1. OpenAI Developers:Blog57

    Dagster Labs 如何用 OpenAI Codex 加速文档与教学内容生产

    Dagster Labs 撰文介绍团队如何用 OpenAI Codex 加速文档编写、讲解 PR、在教程、博客与视频脚本等媒介间转译内容。团队重构了 CONTRIBUTING.md,认为清晰的文档结构同时服务人类和 AI;还用文档作为唯一事实来源让 Codex 生成代码并跑测试,以间接衡量文档覆盖度。作者支持 mono repo,认为代码、文档和示例放在同一仓库能让 Codex 获得完整上下文。

2025年10月23日周四
2025年10月15日周三
2025年10月13日周一
  1. Answer.AI 官方研发博客60

    Kerem Turgutlu 用 SolveIt 将 Karpathy 的 tokenizer 视频教程做成书章

    Answer.AI 的 Kerem Turgutlu 撰文讲解如何用 SolveIt 把 Andrej Karpathy 超两小时的 tokenizers 视频教程转成带可运行代码、超链接和图片的书章。

    推荐理由:作者完整复盘两阶段对话工作流,把超两小时视频转成可运行代码的书章,方法可直接迁移到任意长视频转写场景。

2025年10月10日周五
2025年10月6日周一
2025年10月2日周四
2025年9月29日周一
  1. Anthropic:Engineering78

    为AI智能体实施有效的上下文工程

    随着AI应用从单次提示转向构建长期运行的智能体,焦点正从“提示工程”演进为“上下文工程”。后者旨在为大型语言模型优化有限的上下文窗口内的全部信息,包括指令、工具、外部数据和对话历史。其核心挑战在于模型存在“注意力预算”限制和“上下文腐化”现象——随着上下文增长,模型回忆信息的准确性会下降。因此,上下文工程要求精心编排高价值信息,以有限的资源最大化产出期望结果,这已成为构建高性能、可操控智能体的关键。

    推荐理由:Anthropic 亲自下场定义 context engineering 这个新范式,把 prompt engineering 之后的工程方法论讲透了。做 Agent 的人如果还在死磕 prompt,这篇会让你重新审视整个技术栈。

2025年9月22日周一
2025年9月18日周四
2025年9月16日周二
2025年9月11日周四
  1. Anthropic:Engineering73

    为智能体编写高效工具——与智能体协作

    文章探讨如何为基于大语言模型的智能体设计高效工具。核心方法是通过与智能体(如Claude Code)协作,采用快速原型构建和全面评估的迭代流程来优化工具性能。关键设计原则包括:选择适当的工具实现范围,使用命名空间明确功能边界,从工具向智能体返回有意义的上下文,优化响应以提高token效率,以及对工具描述进行提示词工程。工具本质上是确定性系统与非确定性智能体之间的新契约,设计应优先考虑智能体的使用体验,而非传统开发者导向的API思路,以扩大智能体解决实际任务的能力。

    推荐理由:Anthropic 把自家内部反复打磨的 agent 工具开发方法论完整公开了,从评估流程到 prompt 工程细节全是实操干货,做 MCP server 或 agent 工具链的人可以直接抄作业。

2025年9月5日周五
2025年8月28日周四
  1. LMSYS Blog

    gpt-oss MXFP4 微调和部署:ModelOpt + SGLang(8月29日更新)

    OpenAI 开源模型 gpt-oss 原生采用 MXFP4 量化,但社区长期缺乏针对该低精度格式的训练支持。NVIDIA 推出基于 Model Optimizer 的量化感知训练(QAT)方案,允许在 Blackwell、Hopper、Ampere 及 Ada 等常见 GPU 上直接微调模型,无需转换为 BF16 而牺牲性能。实测显示,经 QAT 微调的 gpt-oss-20b 在多语言推理任务中通过率从 16% 提升至 100%,在安全提示识别任务中从 30% 优化至 97%。微调后的模型可通过 SGLang 部署,保持 MXFP4 格式的推理速度与内存优势。

2025年8月25日周一
2025年8月21日周四
  1. Together AI 研究与产品博客60

    Together AI 分享用 AI Agent 自动化复杂工程任务的六个模式

    Together AI 发布博客,讲解如何用 LLM Agent 自动化复杂长时工程任务,并以其内部投机解码(speculator)训练流水线为案例:任务需可验证、定义清晰、工具可支撑,核心模式包括优质工具、完善文档、安全执行、用 tmux 管理并行会话、让 Agent 学会 sleep 等待以及显式的进度验证。

2025年8月14日周四
2025年8月13日周三
2025年8月7日周四
  1. OpenAI Developers64

    如何用 LM Studio 在本地运行 gpt-oss

    OpenAI 发布 Cookbook 教程,讲解如何在本地硬件上用 LM Studio 运行 gpt-oss。LM Studio 是一款在本地硬件运行大语言模型的桌面应用,教程将引导用户完成本地运行 gpt-oss 的步骤。

    推荐理由:OpenAI 官方 Cookbook 给出在本地硬件用 LM Studio 运行 gpt-oss 的完整步骤,可作为离线部署的操作参考。

  2. LlamaIndex:产品、工程与评测41

    用文档智能体自动化工作流:基于 LlamaParse 构建上下文感知 AI 的完整教程

    LlamaIndex 发布教程,演示如何用 LlamaParse Index 解析并索引非结构化文档,再通过开源智能体框架接入 AI 智能体。教程以 JPMorgan Chase 存款账户披露文件为数据集,用 Claude Sonnet 4 搭建查询引擎与 FunctionAgent,可完成透支费、补卡费和止付费等复合计算。

2025年8月5日周二
  1. OpenAI Developers79

    如何用 Ollama 在本地运行 gpt-oss

    OpenAI 开发者发布教程,讲解如何用 Ollama 在本地硬件上部署 gpt-oss-20b 或 gpt-oss-120b 并选择合适的推理设置。

    推荐理由:来自 OpenAI 开发者官方的实操指南,读者可按步骤在自己硬件上用 Ollama 跑通 gpt-oss 两个规格模型。

  2. OpenAI Developers60

    OpenAI Cookbook 教程:用 Hugging Face Transformers 微调 gpt-oss

    OpenAI 开发者 Cookbook 发布教程,讲解如何结合 gpt-oss 与 Hugging Face Transformers 进行微调。文章由 Edward Beeching、Quentin Gallouédec 和 Lewis Tunstall 撰写,并从大型推理模型(如 OpenAI o3)通过生成思维链提升准确性的背景切入。

    推荐理由:官方 Cookbook 教程给出用 Hugging Face Transformers 微调 gpt-oss 的具体路径,适合需要本地定制推理模型的开发者参考。

2025年8月3日周日
2025年8月1日周五
2025年7月28日周一
2025年7月24日周四
2025年7月23日周三
  1. Modal 官方工程博客69

    Modal 实测:用开源 ASR 模型将批量语音转写提速 100 倍、成本降 100 倍

    Modal 工程团队在平台上部署 NVIDIA parakeet-tdt-0.6b-v2 与 canary-1b-flash 开源 ASR 模型,对约一周(7×24 小时)ESB 基准音频做批量转写,结果比所测专有 API 快 112 倍或便宜 200 倍,且错误率略低,实现了一分钟内以 1 美元转写一周音频。

    推荐理由:原文给出可复现的批量转录优化方法与端到端实测数据,读者可以据此在自己的语音转写服务中权衡成本与吞吐。

2025年7月22日周二