LlamaIndex 与 Weaviate:如何搭建 RAG 技术栈
LlamaIndex 与 Weaviate 组合可搭建 RAG 技术栈:Weaviate 作为向量数据库充当外部存储,LlamaIndex 负责数据管理与编排。
LlamaIndex 与 Weaviate 组合可搭建 RAG 技术栈:Weaviate 作为向量数据库充当外部存储,LlamaIndex 负责数据管理与编排。
Michael Chang 在 LangChain 博客发布 data-driven-characters 开源仓库,可上传语料、命名角色即可生成角色聊天机器人,支持导出到 character.ai、命令行和 Streamlit 三种交互方式。
Eugene Yan 发布 Obsidian-Copilot 原型,通过检索增强生成根据章节标题起草段落,并可回顾一周日记、规划下周,代码开源在 GitHub。
LlamaIndex 宣布获得由 Greylock 领投的 850 万美元种子轮融资,定位为连接私有数据与 LLM 的数据框架。项目上线六个月内获得 16K GitHub Stars、20K Twitter 粉丝、20 万月下载量和 6K Discord 活跃用户,Instabase、Front、Uber 等公司已开始试用。
Vellum 与 LlamaIndex 完成集成,LlamaIndex 用户可通过 VellumPredictor 自动注册提示词,并获得 Sandbox 迭代环境和带版本管理、请求监控的 Deployment。集成还支持用 Vellum Test Suites 批量上传 CSV 测试用例,在生产前跑 50–100 条用例做单元测试,并在生产中对历史输入做回归测试。
LlamaIndex 在博客中展示新查询引擎 SQLAutoVectorQueryEngine,可同时利用 SQL 数据库和向量数据库回答同时涉及结构化与非结构化数据的自然语言查询。
推荐理由:原文给出 SQLAutoVectorQueryEngine 的工作流程、示例代码和实验结果,读者可以照着复现结构化与非结构化数据的组合查询。
LlamaIndex 在三份 Uber 2022 年 10-Q 财报上比较了复杂无约束的 ReAct agent 与简单路由 agent 的查询效果。
LlamaIndex 与 MongoDB 联合发布教程,讲解如何用 LlamaIndex 连接私有数据并结合 MongoDB 存储,构建可对自有文档进行英文问答的系统。
LlamaIndex 团队介绍了围绕 LLM 驱动检索与重排序构建的核心抽象,用于改进传统 top-k 嵌入检索。
LlamaIndex 作者 Jerry 在 TWIML AI 播客中回顾了项目起源:2022 年 11 月为做销售机器人而尝试把 Notion、Slack、Salesforce 等私有数据接入 GPT-3,由此催生这一连接语言模型与数据的工具包。
LlamaIndex 发布新的数据结构 Document Summary Index,为每个文档用 LLM 提取摘要并建立摘要到源文档节点的映射,以提升检索效果。
LlamaIndex 提供 Question Generation 与无标注 Evaluation 模块,用三步流程评测检索增强问答系统:先用 DataGenerator 从文档生成问题,再用 QueryEngine 生成答案与 source nodes,最后判断三者是否匹配。
LangChain 开源的 LLM 问答链自动评测工具现推出免费托管的 hosted 应用与 API,支持 Demo 和 Playground 两种用法,可自动生成 QA 测试集并给用户配置的 QA 链打分。
Eugene Yan 用 gpt-3.5-turbo、gpt-4、LangChain、Pinecone 和 Discord 搭建了 /summarize、/eli5、/sql、/search、/board 等工具,用于研究、反思和规划。
LangChain 调整抽象,引入只要求实现 get_relevant_documents 方法的 Retriever 概念,方便使用 LangChain 之外构建的检索器(如 OpenAI 的 ChatGPT Retrieval Plugin)并鼓励混合搜索等替代检索方法。
LangChain 与社区成员 Francisco Ingham、Jon Luo 发布 LLM 与 SQL 结合的实践指南,并宣布 3 月 22 日举行一小时网络研讨会。
推荐理由:LangChain 团队系统整理了让 LLM 生成有效 SQL 的三类问题与对应解法,方法可直接迁移到自己的 Text-to-SQL 场景。
作者用 Sentence Transformers 的语义搜索功能构建了一个歌单生成器,将歌词按段落切分并嵌入,再根据文本提示检索最相关的歌曲,并用 Gradio Blocks API 搭建多步交互演示,部署在 Hugging Face Spaces 上。
Hugging Face 发布嵌入入门教程,讲解嵌入如何以数值向量表示文本、图像等信息的语义,并用 Sentence Transformers 的 sentence-transformers/all-MiniLM-L6-v2 模型(输出 384 维向量)对 13 条美国 Medicare FAQ 生成嵌入。
Eugene Yan 总结工业界推荐与搜索系统最常见的离线在线、召回加排序设计模式。文章结合 Alibaba、Facebook、JD、DoorDash、LinkedIn 的论文与技术博客,讲解 embedding 与 ANN、知识图谱、XGBoost 等具体实现,并给出从简单 embedding 召回起步的搭建建议。