LangChain 分享自动化网络研究的构建思路:从 agent 探索到轻量 retriever
LangChain 团队尝试构建自动化网络研究的 agent,迭代搜索表现不佳后,改为并行搜索、抓取页面并用 LLM 从每页提取最相关内容,最终将其演化为一个新的 LangChain retriever,提供文档和配置示例。
LangChain 团队尝试构建自动化网络研究的 agent,迭代搜索表现不佳后,改为并行搜索、抓取页面并用 LLM 从每页提取最相关内容,最终将其演化为一个新的 LangChain retriever,提供文档和配置示例。
LlamaIndex 宣布推出 v0.0.1 的 LlamaIndex.TS,一个 TypeScript 优先的库,帮助开发者将私有数据与大语言模型结合。
LlamaIndex 发布 Data Agents,LLM 驱动的知识工作者可对非结构化、半结构化和结构化数据执行读取与写入任务。
推荐理由:发布方亲自讲解 Data Agents 的推理循环与工具抽象设计,并给出可直接复用的代码示例,适合想在自己的数据上搭建智能体的开发者参考。
LlamaIndex 发布 0.7.0,继续推进低层模块化,让用户可自底向上构建基于自己数据的 LLM 应用。
作者为 LlamaIndex 新增了图数据库和 GraphQL API 两个数据加载器,并演示如何用加载器把外部数据接入 LLM 查询。文中先用 SimpleCSVReader 加载 countries.csv 构建 GPTVectorStoreIndex,配合 gpt-3.5-turbo 完成跨语言问答并返回引用文档。
LlamaIndex 与 Anyscale 联合发布教程,演示用 LlamaIndex + Ray 构建针对 Ray 文档和博客的查询引擎。
LlamaIndex 发布新博客系列 LlamaIndex Update,并推出多项功能更新:支持 NebulaGraph 的知识图谱 RAG、可内联引用来源的 CitationQueryEngine、集成 Microsoft Guidance 实现结构化输出,以及支持顺序工具调用和异步回调的 OpenAIAgent。
LlamaIndex 与 TruLens 团队合作,在 TruLens 最新版本中为 LlamaIndex 应用引入 tracing,只需几行代码即可自动评测应用输入输出、LLM 调用、检索到的上下文块、延迟等组件。开发者用 TruLlama 包装 query engine 并添加反馈函数,即可在 TruLens dashboard 中查看评测结果并定位检索块不相关导致的模型幻觉。
LlamaIndex 与 Weaviate 组合可搭建 RAG 技术栈:Weaviate 作为向量数据库充当外部存储,LlamaIndex 负责数据管理与编排。
Michael Chang 在 LangChain 博客发布 data-driven-characters 开源仓库,可上传语料、命名角色即可生成角色聊天机器人,支持导出到 character.ai、命令行和 Streamlit 三种交互方式。
LlamaIndex 宣布获得由 Greylock 领投的 850 万美元种子轮融资,定位为连接私有数据与 LLM 的数据框架。项目上线六个月内获得 16K GitHub Stars、20K Twitter 粉丝、20 万月下载量和 6K Discord 活跃用户,Instabase、Front、Uber 等公司已开始试用。
Vellum 与 LlamaIndex 完成集成,LlamaIndex 用户可通过 VellumPredictor 自动注册提示词,并获得 Sandbox 迭代环境和带版本管理、请求监控的 Deployment。集成还支持用 Vellum Test Suites 批量上传 CSV 测试用例,在生产前跑 50–100 条用例做单元测试,并在生产中对历史输入做回归测试。
LlamaIndex 在博客中展示新查询引擎 SQLAutoVectorQueryEngine,可同时利用 SQL 数据库和向量数据库回答同时涉及结构化与非结构化数据的自然语言查询。
推荐理由:原文给出 SQLAutoVectorQueryEngine 的工作流程、示例代码和实验结果,读者可以照着复现结构化与非结构化数据的组合查询。
LlamaIndex 在三份 Uber 2022 年 10-Q 财报上比较了复杂无约束的 ReAct agent 与简单路由 agent 的查询效果。
LlamaIndex 与 MongoDB 联合发布教程,讲解如何用 LlamaIndex 连接私有数据并结合 MongoDB 存储,构建可对自有文档进行英文问答的系统。
LlamaIndex 团队介绍了围绕 LLM 驱动检索与重排序构建的核心抽象,用于改进传统 top-k 嵌入检索。
LlamaIndex 作者 Jerry 在 TWIML AI 播客中回顾了项目起源:2022 年 11 月为做销售机器人而尝试把 Notion、Slack、Salesforce 等私有数据接入 GPT-3,由此催生这一连接语言模型与数据的工具包。
LlamaIndex 发布新的数据结构 Document Summary Index,为每个文档用 LLM 提取摘要并建立摘要到源文档节点的映射,以提升检索效果。
LlamaIndex 提供 Question Generation 与无标注 Evaluation 模块,用三步流程评测检索增强问答系统:先用 DataGenerator 从文档生成问题,再用 QueryEngine 生成答案与 source nodes,最后判断三者是否匹配。
LangChain 开源的 LLM 问答链自动评测工具现推出免费托管的 hosted 应用与 API,支持 Demo 和 Playground 两种用法,可自动生成 QA 测试集并给用户配置的 QA 链打分。
LangChain 调整抽象,引入只要求实现 get_relevant_documents 方法的 Retriever 概念,方便使用 LangChain 之外构建的检索器(如 OpenAI 的 ChatGPT Retrieval Plugin)并鼓励混合搜索等替代检索方法。
LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南,并宣布 3 月 22 日举行一小时网络研讨会。
推荐理由:LangChain 团队系统整理了让 LLM 生成有效 SQL 的三类问题与对应解法,方法可直接迁移到自己的 Text-to-SQL 场景。