LlamaIndex 实战:用 Workflows 构建知识图谱 text2cypher 智能体并对比四种架构
LlamaIndex 发布用 Workflows 构建 text2cypher 知识图谱智能体的实践教程,实现朴素、重试、重试加评估和迭代规划四种流程,代码开源并提供托管应用。
LlamaIndex 发布用 Workflows 构建 text2cypher 知识图谱智能体的实践教程,实现朴素、重试、重试加评估和迭代规划四种流程,代码开源并提供托管应用。
Crossmint 撰文复盘在开源项目 GOAT SDK 中使用 Cognition 的 Devin 的经验:试运行期间 Devin 合并 8 个 PR,按 PR 数成为项目第一贡献者(第二名 4 个)。
LlamaIndex 与 NVIDIA 合作发布 NVIDIA AI Blueprint,用多智能体系统实现研究、撰写并优化任意主题的博客文章。
升级版 Claude 3.5 Sonnet 在软件工程评估基准 SWE-bench Verified 上取得 49% 的解决率,超越此前最佳模型的 45%。该基准通过真实 GitHub 问题测试 AI 模型完成软件工程任务的能力,要求模型在给定环境中理解、修改并测试代码,最终通过原始单元测试验证。Claude 团队构建的智能体设计简洁,仅包含提示词、Bash 工具和编辑工具,赋予模型充分的自主判断空间,以灵活步骤解决问题。目前尚无模型在该基准上突破 50% 的解决率。
推荐理由:Anthropic 把自家 SWE-bench agent 的 prompt、工具设计和踩坑经验全公开了,做 coding agent 的人可以直接抄作业,比看十篇二手解读都管用。
Anthropic基于实践经验指出,成功的LLM智能体往往采用简单、可组合的模式,而非复杂框架。文章区分了工作流(预定义路径编排)与智能体(LLM动态自主决策),建议开发者优先采用最简单方案,仅在必要时增加复杂性。许多核心模式直接调用LLM API仅需几行代码即可实现。文中介绍了增强型LLM、提示链等基础构建模块,强调应为特定用例定制检索、工具等增强功能,并推荐通过Model Context Protocol集成第三方工具生态。
推荐理由:Anthropic 官方把过去一年踩过的坑浓缩成一篇 Agent 架构指南,核心观点是「别上框架,先用最简单的模式」。做 Agent 产品的开发者,这篇比任何第三方教程都值得当 checklist 用。
Answer.AI 发布免费服务 nbsanity,允许用户通过修改 URL 或使用书签,将 GitHub 上的公开 Jupyter Notebook 快速渲染为基于 Quarto 的精美静态网页。该工具无需配置或部署,支持代码折叠、隐藏单元格等自定义展示功能,旨在降低技术写作分享门槛。它仅负责渲染而不执行代码,并保留历史版本链接。
文章介绍了如何利用 iTerm2 的 tmux control mode(控制模式)来优化 Answer.AI 旗下工具 ShellSage 的使用体验。通过配置 iTerm2 Profile 启动命令为 `tmux -CC`,用户可以在保留原生终端界面(如标签页、滚动条)的同时,后台运行 tmux 以提供 AI 上下文感知能力,从而避免学习复杂的 tmux 快捷键和界面操作。文中提供了本地及远程 SSH 连接的具体配置步骤。
LlamaParse 的 SharePoint 集成现已开箱支持权限感知,可将 SharePoint 的细粒度访问控制用于 RAG 应用。
Anthropic 在对齐伪造论文之后发布复现指南,提供包含 helpful-only 设置最小复现的 notebook,其中 Claude 3 Opus、Claude 3.5 Sonnet 和 Llama-3 405B 会产生对齐伪造推理。文章还提供转录浏览网站、合成文档数据、部分实验代码库,并提出 no-CoT 合规差距成因、为何部分模型会伪造对齐等未来研究问题。
Memgraph 与 LlamaIndex 集成,可将原始文本转化为结构化知识图谱并用自然语言查询。
LlamaIndex RAG-a-thon 获奖项目 RAGformation 可让用户用自然语言描述需求,自动生成云服务选型、架构流程图和 AWS 成本估算。该工具基于 LlamaIndex Workflows 与 Pinecone 向量库,支持随需求变化动态调整推荐并输出完整报告,代码已在 GitHub 开源。
LlamaIndex 黑客松获奖团队提出 RAG Context Refinement Agent,在问答阶段用智能体反复回访源文档,通过 Evaluator 判断检索片段是否足以回答问题,再由 Tool Selector 调度摘要、文件筛选、链接追踪等工具迭代精炼 scratchpad 上下文。
LlamaIndex 提出基于 RAG 的报告生成方法,让系统从简单问答升级为自动产出研究报告、演示文稿和分析等完整文档。文章给出五个构建模块,包括 Pydantic 结构化输出定义、LlamaParse 复杂文档解析、知识库集成、多智能体工作流和模板处理系统,并估计每份报告可节省 10-15 小时,附多模态报告、财务分析、Excel 模板填写和 RFP 响应生成等示例 notebook。
英国 AI Security Institute 分享了其开发开放式问答(QA)评测的经验,该评测通过提示模型回答数百个问题并自动评分,比多选题更能反映真实对话场景。评测通过其开源框架 Inspect 运行,答案通常为 100 至 400 词,开发流程涵盖起草有挑战性的问题、编写细致的评分指南等五个步骤。
传统RAG系统在编码时易丢失上下文,导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术,在检索前为文本块添加解释性上下文,能将检索失败次数减少49%,结合重排序后降幅可达67%,显著提升了下游任务性能。对于小于20万token的小型知识库,可直接将其完整内容放入提示词,结合Claude的提示词缓存功能,能降低超过2倍的延迟和高达90%的成本。对于大型知识库,上下文检索则提供了可扩展的解决方案。
推荐理由:Anthropic 把 RAG 检索失败率砍了 67%,方法不复杂但数据扎实,做知识库的开发者可以直接抄 cookbook 上手,是那种读完当天就能改进生产环境的实用帖。
Modal 在官方博客讲解如何为 Whisper large v3 添加动态批处理,只需在推理函数加 @modal.batched() 装饰器并改为列表输入输出。在 A10G 上以 max_batch_size 64 测试,吞吐从约 1.2 提升到约 3.3 请求/秒/容器,推理成本降低 65%。文章还解释了动态批处理相比固定批处理可避免请求稀疏时的无界延迟,并支持任意返回单响应的工作负载。
Cognition 公布在 Devin 中测试 o1-mini 和 o1-preview 数周的早期结果:在内部基准 cognition-golden 上,Devin-Base 从 GPT-4o 的 25.9% 提升到 o1-mini 的 34.6%、o1-preview 的 51.8%,生产版 Devin 达 74.2%。
推荐理由:Cognition 作为 Devin 开发方给出 o1 系列的实测对比数据,并完整披露其内部基准 cognition-golden 的评测方法。
Modal 工程团队用 dlt 做数据加载、dbt 做转换、GitHub Actions 做 CI/CD,在 Modal 上跑完整分析栈,每天搬运数百万行数据成本不到 1 美元。其中一次任务在 47 秒内写入 1,375,896 行(约 20MB),按 Modal 计费约合每月 0.006 美元;同样每月 3000 万行的同步量在 Fivetran 上需 4,738 美元/月。
LlamaIndex 发布教程,演示如何用 Azure OpenAI 作为 AI 提供方、在 Microsoft Azure 上部署无服务器 RAG 应用。
Zyphra 发布训练手册,帮助其他团队构建混合(SSM、Transformer、MoE)模型,内容源自其 BlackMamba、Zamba 系列模型和 Zyda 数据集的实践经验。
LlamaParse 推出 Index Cloning、Chunk Visualization 等功能,帮助开发者快速试验 RAG 管道的 chunk size 配置,无需手动重建索引或管理多份数据存储。文中以三篇 ICLR 2024 论文为例,基线设置 512 tokens chunk size 时回答遗漏了 SWE-bench 的部分特征,改用 Page 分段且不分块后回答更完整。
Modal 团队通过多次采样搜索,让 LLaMA 3.1 8B Instruct 在 HumanEval 上的 pass@k 从单次 66.4% 提升到 100 次生成的 90.5%(对比 GPT-4o pass@1 90.2%)和 1000 次的 95.1%。
Sierra 分享了其 AI 智能体开发方法论 Agent Development Life Cycle,用于构建、测试和优化面向客户服务的 AI 智能体。该智能体已用于 Sonos 音箱设置、SiriusXM 收音机刷新和 OluKai 鞋类退换等场景,并依托 Agent OS 平台组合技能、接入工具系统。
Cognition 用 Devin 在云端 Windows 机器上模拟 CrowdStrike 故障并完成恢复。Devin 按工程师编写的 8 步 playbook 自主执行,删除了 Windows/System32/drivers/CrowdStrike/C-00000291-* 文件,中途还自行调试了卷卸载失败问题,最终确认机器可正常启动。
LlamaIndex 联合 PostgresML 演示了用 cross-encoder 重排序改进向量搜索结果相关性的方法。cross-encoder 直接比较查询与结果文本对计算相似度,无需预计算 embedding,但需逐对计算、成本较高,因此适合对检索出的子集做重排序,且不依赖大量用户交互数据即可处理新内容。
LlamaIndex 开源了一个多智能体礼宾(concierge)系统的构建教程,用编排智能体路由任务、续接智能体串联依赖链,并以全局状态在智能体间共享用户状态。系统包含股票查询、身份认证、余额查询、转账四个任务智能体和三个元智能体,文章给出了核心循环、编排提示词和完整运行示例,代码仓库已开源。
Neo4j 客座教程讲解如何在 LlamaIndex 中自定义属性图谱索引,用 SchemaLLMPathExtractor 做模式引导抽取、用文本嵌入加编辑距离做实体去重,并实现先识别查询实体再分别执行 VectorContextRetriever 的自定义检索器。示例使用 250 篇新闻文章和 Neo4j 图存储,最后用自定义检索器完成问答回流,代码托管在 GitHub。
推荐理由:原文给出图谱构建、实体去重和自定义检索的完整可复现代码,读者可以迁移到自己的 GraphRAG 项目。
Modal 在其 serverless 容器运行时中加入基于 syscall 的程序分析组件 seccheck,用于检测并禁用挖矿的 Modal Functions,随后封禁相关用户。
Sierra 基于其 Agent OS 提出面向 AI 智能体的 Agent Development Life Cycle,用声明式目标和确定性护栏解决 LLM 智能体的非确定性问题。
Modal 工程博客展示了如何用约 300 个 Heroicons SVG 图标微调 Stable Diffusion,生成 Heroicons 风格的黑白线条图标,例如 barack-obama、golden-retriever 等。
LlamaIndex 发布 Mozilla 客座教程,讲解用 llamafile 在笔记本上本地运行 LLM,并以 TinyLlama-1.1B 作为 LLM 与嵌入后端,结合 Wikipedia 页面与私有文档构建完全本地运行的 RAG 研究助手。
推荐理由:教程给出从下载运行 llamafile 到用 LlamaIndex 搭建本地 RAG 研究助手的完整代码路径,可迁移到其他主题。
这篇 Modal 工程博客讲解如何微调开源嵌入模型,在 Quora 重复问题数据集上用几百条样本即可在文本相似度任务上超越 OpenAI text-embedding-3-small。
推荐理由:原文给出完整的微调实验数据,读者可复用其数据量阈值和超参数网格搜索方法到自己的嵌入任务。
LlamaIndex 展示用差分隐私技术把 Bob 和 Beth 的私有敏感数据转成隐私安全的合成副本,再通过 llama-index-networks 构建可跨网络查询的 RAG 系统。
Protect AI 展示如何用开源安全工具 LLM Guard 配合 LlamaIndex 加固 RAG 应用,对文档输入和模型输出进行扫描,检测并清除提示词注入、数据泄露等恶意内容。示例中,一份简历用白色文字隐藏了提示词注入,LLM Guard 在检索阶段将其拦截。LLM Guard 模型下载量已超 250 万次,并提供针对提示词和响应的多种安全扫描器。
LlamaIndex 与开源 LLM 评估框架 UpTrain 完成集成,开发者只需添加几行代码,UpTrain Callback Handler 即可自动评估 RAG 流水线生成的响应质量、检索上下文质量及各中间步骤表现。
Modal 官方工程博客详解其 modal-http 服务,将 HTTP 和 WebSocket 请求翻译成 serverless 函数调用,并刚完成完整的 WebSocket 支持。
作者在 LlamaIndex RAG-A-THON 中开发 PresidioPIINodePostprocessor,将 Microsoft 开源的 Presidio 集成到 LlamaIndex 管线,对文本中的姓名、信用卡号、IBAN、IP 地址等 PII 进行类型化掩码。
发布全新资源 FM Dev Cheatsheet,这是一份面向 Foundation Model 开发的实用速查表。该资源旨在为开发者提供基础模型开发全流程的关键参考信息,涵盖架构设计、训练优化及部署等环节的核心要点,帮助快速查阅技术规范与最佳实践,提升开发效率与项目质量。
polySpectra 创始人 Raymond 撰文复盘为 3D 生成式 AI 工具 neThing.xyz 接入 RAG 的过程:通过 LlamaIndex 和 AstraDB 检索相关示例代码替代庞大的 system prompt。
LlamaIndex 发布教程,演示如何用 LlamaIndex Python API 结合 OpenAI GPT4V 和 LanceDB 构建视频多模态 RAG 系统。