Eugene Yan 用 FastAPI、FastHTML、Next.js 和 SvelteKit 构建同一应用的对比实践
Eugene Yan 用同一套 CSV 上传与 SQLite CRUD 应用分别实测 FastAPI、FastHTML、Next.js、SvelteKit 及 FastAPI+Svelte 组合，比较各框架的代码组织与开发体验。
#教程/实践
Eugene Yan：WritingAI 评分5858
LlamaIndex：产品、工程与评测AI 评分4242 用 LlamaIndex 和 Azure OpenAI 构建无服务器 RAG 应用
LlamaIndex 发布教程，演示如何用 Azure OpenAI 作为 AI 提供方、在 Microsoft Azure 上部署无服务器 RAG 应用。
Zyphra ResearchAI 评分5454 Zyphra 发布训练手册，讲解混合 SSM/Transformer/MoE 模型的工程实践
Zyphra 发布训练手册，帮助其他团队构建混合（SSM、Transformer、MoE）模型，内容源自其 BlackMamba、Zamba 系列模型和 Zyda 数据集的实践经验。
LlamaIndex：产品、工程与评测AI 评分4545 如何用 LlamaParse 优化 RAG 管道的 chunk size
LlamaParse 推出 Index Cloning、Chunk Visualization 等功能，帮助开发者快速试验 RAG 管道的 chunk size 配置，无需手动重建索引或管理多份数据存储。文中以三篇 ICLR 2024 论文为例，基线设置 512 tokens chunk size 时回答遗漏了 SWE-bench 的部分特征，改用 Page 分段且不分块后回答更完整。
Eugene Yan：WritingAI 评分7070 Eugene Yan 综述 LLM-as-a-Judge 评估器的应用、指标与局限
Eugene Yan 汇总两篇十余篇论文，讲解如何应用和评估 LLM 评估器（LLM-as-a-Judge），覆盖直接打分、成对比较、基于参考的评估，以及分类指标与相关性指标的选择。文章给出 gpt-4 与人类专家一致性达 85%、微调评估器在跨评测方案时性能大幅下降、以及位置偏好和冗长偏好等偏差的实证结果，并建议开发期可用 LLM API，生产护栏场景考虑微调分类器或 reward model。
Modal 官方工程博客AI 评分5252 Modal 用 100 次 LLaMA 3.1 8B 搜索在 HumanEval 上超过 GPT-4o
Modal 团队通过多次采样搜索，让 LLaMA 3.1 8B Instruct 在 HumanEval 上的 pass@k 从单次 66.4% 提升到 100 次生成的 90.5%（对比 GPT-4o pass@1 90.2%）和 1000 次的 95.1%。
Hamel Husain 长文AI 评分7070 Hamel Husain 免费开放 Mastering LLMs 课程，40 多小时由 25 位以上从业者主讲
Hamel Husain 发布 Mastering LLMs 免费开放课程，整理自曾有超过 2000 名学员的付费课程，内容超过 40 小时。
Sierra：BlogAI 评分4040 Sierra 如何交付并扩展 AI 智能体
Sierra 分享了其 AI 智能体开发方法论 Agent Development Life Cycle，用于构建、测试和优化面向客户服务的 AI 智能体。该智能体已用于 Sonos 音箱设置、SiriusXM 收音机刷新和 OluKai 鞋类退换等场景，并依托 Agent OS 平台组合技能、接入工具系统。
Cognition 模型 / Devin 博客AI 评分4545 Cognition 展示如何用 Devin 修复 CrowdStrike 蓝屏故障
Cognition 用 Devin 在云端 Windows 机器上模拟 CrowdStrike 故障并完成恢复。Devin 按工程师编写的 8 步 playbook 自主执行，删除了 Windows/System32/drivers/CrowdStrike/C-00000291-* 文件，中途还自行调试了卷卸载失败问题，最终确认机器可正常启动。
LlamaIndex：产品、工程与评测AI 评分4343 LlamaIndex 与 PostgresML 如何用重排序改进向量搜索
LlamaIndex 联合 PostgresML 演示了用 cross-encoder 重排序改进向量搜索结果相关性的方法。cross-encoder 直接比较查询与结果文本对计算相似度，无需预计算 embedding，但需逐对计算、成本较高，因此适合对检索出的子集做重排序，且不依赖大量用户交互数据即可处理新内容。
LlamaIndex：产品、工程与评测AI 评分5959 LlamaIndex 开源多智能体礼宾系统构建教程
LlamaIndex 开源了一个多智能体礼宾（concierge）系统的构建教程，用编排智能体路由任务、续接智能体串联依赖链，并以全局状态在智能体间共享用户状态。系统包含股票查询、身份认证、余额查询、转账四个任务智能体和三个元智能体，文章给出了核心循环、编排提示词和完整运行示例，代码仓库已开源。
Eugene Yan：WritingAI 评分5959 Eugene Yan：如何面试和招聘 ML/AI 工程师
Eugene Yan 与 Jason 分享面试和招聘 ML/AI 工程师的经验。文章讨论应考察的技术能力（软件工程、数据素养、对模型不确定性的适应、evals、科学广度深度与应用）与非技术能力（AICE 四维度），并介绍如何校准电话筛选、用 STAR 格式组织面试循环与复盘，最后给出面试官和招聘经理建议，以及强候选人三项特质 hunger、judgment、empathy 的看法。
LlamaIndex：产品、工程与评测精选AI 评分6060 LlamaIndex 教程：自定义属性图谱索引以提升 GraphRAG 准确率
Neo4j 客座教程讲解如何在 LlamaIndex 中自定义属性图谱索引，用 SchemaLLMPathExtractor 做模式引导抽取、用文本嵌入加编辑距离做实体去重，并实现先识别查询实体再分别执行 VectorContextRetriever 的自定义检索器。示例使用 250 篇新闻文章和 Neo4j 图存储，最后用自定义检索器完成问答回流，代码托管在 GitHub。
推荐理由：原文给出图谱构建、实体去重和自定义检索的完整可复现代码，读者可以迁移到自己的 GraphRAG 项目。
Modal 官方工程博客AI 评分4646 Modal 如何用 syscall 签名识别加密货币挖矿程序
Modal 在其 serverless 容器运行时中加入基于 syscall 的程序分析组件 seccheck，用于检测并禁用挖矿的 Modal Functions，随后封禁相关用户。
Sierra：BlogAI 评分4545 Sierra 提出 Agent Development Life Cycle：AI 智能体需要新的开发生命周期
Sierra 基于其 Agent OS 提出面向 AI 智能体的 Agent Development Life Cycle，用声明式目标和确定性护栏解决 LLM 智能体的非确定性问题。
Eugene Yan：WritingAI 评分7676 Eugene Yan 详解提示词基础及如何有效应用
Eugene Yan 发表文章讲解 LLM 提示词基础，将提示工程视为对概率模型的条件化，并给出角色设定、结构化 XML 输入输出、预填充、n-shot、CoT sketchpad、拆分提示词、stop sequence 和温度选择等可操作方法。
Modal 官方工程博客AI 评分4848 在 Modal 上微调 Stable Diffusion 打造无限图标库
Modal 工程博客展示了如何用约 300 个 Heroicons SVG 图标微调 Stable Diffusion，生成 Heroicons 风格的黑白线条图标，例如 barack-obama、golden-retriever 等。
Johann Rehberger / Embrace The RedAI 评分6060 机器学习攻击系列：给 Keras 模型植入后门及检测方法
Johann Rehberger 演示如何向 Keras Husky AI 模型的 .h5 文件添加 lambda 层实现后门，加载模型即可执行任意代码并外泄主机名。他指出 .keras v3 格式默认 safe_mode=True 可阻断此攻击，并推荐用 Protect AI 的 modelscan 工具检测模型中的不安全算子，建议将此类扫描集成进 MLOps 流水线。
LlamaIndex：产品、工程与评测精选AI 评分6262 用 LlamaIndex 和 llamafile 搭建本地私有研究助手
LlamaIndex 发布 Mozilla 客座教程，讲解用 llamafile 在笔记本上本地运行 LLM，并以 TinyLlama-1.1B 作为 LLM 与嵌入后端，结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。
推荐理由：教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径，可迁移到其他主题。
Eugene Yan：Writing精选AI 评分8282 Applied LLMs：一年 LLM 应用开发的经验总结
Eugene Yan 等六位作者发布长文 Applied LLMs，总结一年 LLM 应用开发经验，分战术、运营、战略三部分。战术层面涵盖 n-shot 与 CoT 提示词技巧、RAG 文档相关性、结构化输出工具 Instructor 和 Outlines、LLM-as-Judge 评测及幻觉防护；战略层面提出 PMF 之前不买 GPU、先提示词后微调、系统比模型更构成护城河等观点。
推荐理由：多位从业者基于一年真实开发经验总结提示词、RAG、评测到团队与战略的实践清单，读者可对照自己的 LLM 项目逐条借鉴。
Modal 官方工程博客精选AI 评分6161 Jason Liu 演示用几百条数据微调开源嵌入模型超越 OpenAI text-embedding-3-small
这篇 Modal 工程博客讲解如何微调开源嵌入模型，在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。
推荐理由：原文给出完整的微调实验数据，读者可复用其数据量阈值和超参数网格搜索方法到自己的嵌入任务。
Hamel Husain 长文AI 评分6464 Hamel Husain 介绍用对抗验证检测 AI 数据漂移并开源 ft_drift 工具
Hamel Husain 介绍用对抗验证检测模型输入或训练数据漂移的方法：给两组数据打 0/1 标签训练二分类器，若 AUC >= 0.60 则存在漂移，并可通过特征重要性定位根因。该方法无需复杂工具，他还发布了 CLI 工具 ft_drift，可检测两个多轮对话 l 文件之间基于 token 的漂移，并用真实案例展示了如何据此定位 prompt 模板的意外变更。
Eugene Yan：WritingAI 评分5858 Eugene Yan 用 Vapi 和 Claude 3 搭建可通话的 AI 教练
Eugene Yan 分享他基于 Vapi 平台和 claude-3-sonnet 模型搭建的语音 AI 教练 Tara，用于散步时倾诉焦虑、梳理思路和预演困难对话。文章给出 10 分钟搭建教程，包括系统提示词、购买每月 2 美元的虚拟号码，并公开了演示号码 +1 (206) 558 8782。
Eugene Yan：WritingAI 评分6767 Eugene Yan 详解哪些任务导向的 LLM 评测方法有效、哪些无效
Eugene Yan 撰文总结 LLM 应用的任务型评测方法：分类用 recall、precision、ROC-AUC、PR-AUC 和分布分离度，摘要用 NLI 测事实一致性与奖励模型测相关性，翻译用 chrF、BLEURT、COMET、COMETKiwi，另介绍用 RealToxicityPrompts、BOLD 测毒性和 HELM 方法测版权复述。
Hamel Husain 长文AI 评分7272 Hamel Husain 详解 LLM 产品如何搭建评估系统
Hamel Husain 长文讲解 LLM 产品为何失败于缺乏评估系统，并以 Rechat 的房产 AI 助手 Lucy 为案例给出系统化改进方法。核心是把评估分为三层：单元测试（每次代码变更运行）、人工与模型评估（记录 trace、对齐评估模型与人类标注者）、A/B 测试，并说明评估基础设施可以免费解锁微调数据合成与快速调试。
LlamaIndex：产品、工程与评测AI 评分4848 LlamaIndex 如何用差分隐私生成隐私安全文档并在网络中检索
LlamaIndex 展示用差分隐私技术把 Bob 和 Beth 的私有敏感数据转成隐私安全的合成副本，再通过 llama-index-networks 构建可跨网络查询的 RAG 系统。
LlamaIndex：产品、工程与评测AI 评分4343 用 LlamaIndex 和 Protect AI 的 LLM Guard 构建安全 RAG
Protect AI 展示如何用开源安全工具 LLM Guard 配合 LlamaIndex 加固 RAG 应用，对文档输入和模型输出进行扫描，检测并清除提示词注入、数据泄露等恶意内容。示例中，一份简历用白色文字隐藏了提示词注入，LLM Guard 在检索阶段将其拦截。LLM Guard 模型下载量已超 250 万次，并提供针对提示词和响应的多种安全扫描器。
LlamaIndex：产品、工程与评测AI 评分4141 用 UpTrain 评估为你的 LlamaIndex RAG 流水线提速
LlamaIndex 与开源 LLM 评估框架 UpTrain 完成集成，开发者只需添加几行代码，UpTrain Callback Handler 即可自动评估 RAG 流水线生成的响应质量、检索上下文质量及各中间步骤表现。
Modal 官方工程博客AI 评分5656 Modal 解析其 Web 基础设施：把 HTTP 和 WebSocket 请求翻译成函数调用
Modal 官方工程博客详解其 modal-http 服务，将 HTTP 和 WebSocket 请求翻译成 serverless 函数调用，并刚完成完整的 WebSocket 支持。
LlamaIndex：产品、工程与评测AI 评分5959 在 LlamaIndex RAG 中用 Presidio 检测并掩码 PII 的实践
作者在 LlamaIndex RAG-A-THON 中开发 PresidioPIINodePostprocessor，将 Microsoft 开源的 Presidio 集成到 LlamaIndex 管线，对文本中的姓名、信用卡号、IBAN、IP 地址等 PII 进行类型化掩码。
EleutherAI：Blog Foundation Model 开发速查表
发布全新资源 FM Dev Cheatsheet，这是一份面向 Foundation Model 开发的实用速查表。该资源旨在为开发者提供基础模型开发全流程的关键参考信息，涵盖架构设计、训练优化及部署等环节的核心要点，帮助快速查阅技术规范与最佳实践，提升开发效率与项目质量。
LlamaIndex：产品、工程与评测AI 评分5353 polySpectra 如何用 LlamaIndex 与 AstraDB 为 neThing.xyz 接入 RAG，单日降低 80% OpenAI 成本
polySpectra 创始人 Raymond 撰文复盘为 3D 生成式 AI 工具 neThing.xyz 接入 RAG 的过程：通过 LlamaIndex 和 AstraDB 检索相关示例代码替代庞大的 system prompt。
LlamaIndex：产品、工程与评测AI 评分5757 LlamaIndex 与 LanceDB 实现视频多模态 RAG 教程
LlamaIndex 发布教程，演示如何用 LlamaIndex Python API 结合 OpenAI GPT4V 和 LanceDB 构建视频多模态 RAG 系统。
Hamel Husain 长文AI 评分7373 Hamel Husain 教你用 mitmproxy 拦截 LLM 框架的真实 prompt
Hamel Husain 发文主张使用 LLM 抽象库时应先看到最终发送给模型的 prompt，并给出框架无关的做法：用 mitmproxy 拦截并记录 API 调用。
Eugene Yan：WritingAI 评分5454 Eugene Yan 详解如何生成合成数据用于微调：蒸馏与自我改进两大路线
Eugene Yan 发表长文，系统梳理用合成数据进行预训练、指令微调和偏好微调的两大路线：从更强模型蒸馏（如 Unnatural Instructions、Alpaca、Orca、WizardCoder）和模型自我改进（如 Self-Instruct、SPIN、ReST^EM、Self-Rewarding、CAI）。
LlamaIndex：产品、工程与评测AI 评分4040 LlamaIndex.TS 如何用 TypeScript 构建 LLM 智能体
LlamaIndex.TS 发布教程，演示如何用 TypeScript 构建 LLM 智能体：先通过 FunctionTool 和 OpenAIAgent 搭建计算智能体，让模型自动调用 sum、multiply 函数完成"5+5 再乘 2"的多步计算。
LlamaIndex：产品、工程与评测AI 评分5151 LlamaIndex 教程：用 Alpha 调优提升 RAG 混合检索性能
LlamaIndex 发布教程，讲解如何在 Weaviate 中结合其检索评测模块，对 RAG 混合检索中的 Alpha 参数进行调优，覆盖 Web 搜索、概念、事实、关键词、拼写错误和精确子串六类查询。
LlamaIndex：产品、工程与评测AI 评分5252 LlamaIndex 教程：用 Nomic Embed 构建全开源 RAG 检索器
LlamaIndex 发布教程，演示如何用 LlamaIndex 与 Nomic Embed 构建完全开源的 RAG 检索器。
LlamaIndex：产品、工程与评测精选AI 评分6262 LlamaIndex 讲解 Agentic RAG：用多文档 Agent 构建可扩展的 RAG 架构
LlamaIndex 博客介绍 Agentic RAG 架构：将最多 100 篇文档拆分后，为每篇文档创建具备嵌入搜索与摘要能力的文档 Agent，再由顶层 meta-agent 通过工具检索和 CoT 回答用户问题，并用 Rerank 端点对文档按相关性排序。
推荐理由：原文拆解了多文档 Agent 与顶层 meta-agent 的编排结构，并给出可运行的 Colab 示例，读者可据此理解 Agentic RAG 的扩展方式。
LlamaIndex：产品、工程与评测AI 评分4646 Tonic Validate x LlamaIndex：为 LlamaIndex 实现集成测试
Tonic Validate 已原生集成进 LlamaIndex 核心库，可用于对 RAG 系统做集成测试与性能监控。教程演示了用 create-llama 搭建示例 RAG 应用（选用 gpt-4-1106-preview、FastAPI 模板），再通过 tonic-validate 编写测试，并结合 GitHub Actions 在 RAG 性能变化时发出告警。
最多提供 50 页，更早的内容请使用搜索或主题页。