LlamaIndex 发布 create-llama 命令行工具,一键生成全栈 LlamaIndex 应用
LlamaIndex 推出 create-llama 命令行工具,通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
推荐理由:原文给出了脚手架工具的技术选项和数据接入方式,开发者可以据此快速判断是否用它搭建 LlamaIndex 应用。
LlamaIndex 推出 create-llama 命令行工具,通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
推荐理由:原文给出了脚手架工具的技术选项和数据接入方式,开发者可以据此快速判断是否用它搭建 LlamaIndex 应用。
LlamaIndex 发布多模态 RAG 支持能力,新增 OpenAIMultiModal、ReplicateMultiModal、MultiModalEmbedding(CLIP)和 MultiModalVectorStoreIndex 等抽象,可对文本和图像统一索引与检索。
推荐理由:原文由 LlamaIndex 给出多模态 RAG 的新抽象与代码示例,读者可以直接了解 GPT-4V、CLIP 与 Qdrant 在同一管线中的组合方式。
开发者基于微软 KOSMOS-2、Google PaLM API 和 LlamaIndex 搭建了一个 Streamlit 多模态原型,作为 ChatGPT 视觉能力的替代方案。
LlamaIndex 在 OpenAI 开发者日当天更新库,支持 gpt-4-1106-preview(GPT-4 Turbo,128,000 token 上下文窗口、JSON mode、并行函数调用等)和 gpt-4-vision-preview 多模态模型。同时新增 Azure OpenAI 端点、嵌入抽象与函数调用示例,其 RAG 演示 SEC Insights 已改用最新版 GPT-4。
推荐理由:LlamaIndex 当天即完成对 OpenAI 新模型的支持,读者可借此了解新能力在 RAG 工作流中的接入方式。
LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua,通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。
推荐理由:原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节,并给出在 LlamaIndex 中作为 NodePostprocessor 的用法,可迁移到自己的 RAG 成本优化。
LlamaIndex 用其 Retrieval Evaluation 模块,以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型(OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等)搭配不同 Reranker 的检索效果。
推荐理由:原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据,读者可以照此在自己的数据上选型。
LlamaIndex 解读 NVIDIA 研究,用 Nemo GPT-43B(扩展至 16K)与 LLaMA2-70B(扩展至 16K/32K)在 7 个数据集上比较检索增强与长上下文扩展。
Meta AI 研究团队提出 RA-DIT(检索增强双重指令微调),通过分别微调 LLM 与检索器,让任意 LLM 获得检索能力。在知识密集型任务上,RA-DIT 65B 的 0-shot 平均 EM 达 50.5,高于 LLAMA 65B REPLUG 的 43.1 和 LLAMA 65B 的 32.9;64-shot 微调下平均 60.9,略超 ATLAS 的 56.8。
LlamaIndex 发布教程,介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF,实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码,并说明该工具仅支持带文本层的 PDF,暂不支持 OCR。
推荐理由:文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法,含可直接复用的代码。
作者复盘了 Streamlit LLM Hackathon 冠军应用 FinSight 的构建过程,用 LlamaIndex、FAISS 和 Streamlit 对公司 10-K 年报做 RAG 分析。
Eugene Yan 参加在旧金山举行的首届 AI Engineer Summit 并分享 LLM 系统构建演讲,总结出多条要点。Amplify Partners 超 800 份问卷显示评测(evals)与服务成本是部署最大痛点;assert 断言确定但脆弱,用第三方 LLM 评分则规模化后成本高,团队用 VCR.py 缓存应对;代码生成因可直接运行验证而最易评测。
LlamaIndex 发布与 Arize AI Phoenix 的一行代码集成,为所有 RAG/agent 流水线提供全链路追踪与可观测性,数据可本地存储并支持导出 trace 用于评测。
LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size,以 Uber 2021 10K 文件为数据。
推荐理由:原文给出可复现的评测流程和具体数据,读者可以据此在自己的 RAG 场景中测试并选定合适的 chunk size。
Kay 与 Cybersyn 合作在 LangChain 上线 SEC Retriever,开发者可通过 KayAiRetriever 检索 SEC 文件(如 10-K、10-Q)的上下文,用于生成式和对话式智能体。
Timescale Vector 集成 LlamaIndex,让开发者用 PostgreSQL 构建 AI 应用。其受 DiskANN 启发的新索引在 100 万条 OpenAI 嵌入向量上实现约 99% 召回率下比专用数据库快 3 倍,比现有 PostgreSQL 索引快 39.39% 至 1,590.33%,并支持 HNSW 与 IVFFlat。
Timescale Vector 与 LangChain 集成,让开发者用 PostgreSQL 作为向量数据库构建 AI 应用。其受 DiskANN 启发的新索引在 100 万条 OpenAI 嵌入上实现约 99% 召回率下比 Weaviate 快 243%,并支持基于时间的向量过滤与 RAG 上下文检索。LangChain 用户可获 90 天免费试用。
LlamaIndex 开源了 SECInsights.ai,加速生产级 RAG 应用开发,并推出 Replit 模板实现零环境配置启动项目。新版本还带来线性适配器微调、层级 Agent、SummaryIndex 重命名及 RAG 评估工具包,检索优化可带来 10–20% 效果提升。
LlamaIndex 推出 EmbeddingAdapterFinetuneEngine,在任意嵌入模型(如 sentence_transformers、OpenAI)的 query 嵌入上微调线性适配器,文档嵌入保持固定、无需重新嵌入。
Eugene Yan 撰文讲解抽象式摘要的评估方法,涵盖流畅性、连贯性、相关性与一致性四个维度,并介绍基于参考、基于上下文、基于偏好和基于采样的四类指标。
ChatGPT 的知识截止日期距今已满两年,OpenAI 不直接更新是因为训练新 LLM 成本高达数千万美元且不保证成功,清洗新数据集同样昂贵。若应用需要更新的数据,标准做法是 RAG(检索增强生成),即搜索相关上下文、喂给 LLM、获得更好回答,可规避上下文窗口限制和按词计费的 API 成本。
LlamaIndex 现已支持直接使用 Airbyte 的 Gong、Hubspot、Salesforce、Shopify、Stripe、Typeform 和 Zendesk Support 数据源,以 data loader 形式实现。
LlamaIndex 发布端到端指南,教你在无标注的非结构化语料上用 LLM 生成合成问题对来微调开源嵌入模型 BAAI/bge-small-en。
推荐理由:原文提供了完整的无标注数据微调嵌入模型方法和评测结果,读者可以直接复用笔记本改进自己的 RAG 检索。
Cube 与 LangChain 集成,推出 CubeSemanticLoader 文档加载器,可将语义层数据模型的嵌入向量写入向量数据库,用于将自然语言问题匹配到数据模型中的视图和字段。官方同时提供基于 OpenAI、FAISS 和 Streamlit 的对话式演示应用,示例提示词可生成查询 Cube SQL API 的语句,代码已在 GitHub 开源。
LangChain 与 Airbyte 合作,将 Gong、Hubspot、Salesforce、Shopify、Stripe、Typeform 和 Zendesk Support 七种 Airbyte 数据源实现为 document loaders,可直接在 LangChain 应用中使用。
LlamaIndex 与 Metaphor 发布集成,将 LlamaIndex data agent 与 Metaphor 作为原生 LLM 搜索工具结合,使 agent 能对任意新近或复杂问题进行联网检索并执行任务。
LangChain 发布对 CSV 表格数据问答的基准测试复盘,最终方案是一个使用 OpenAI functions 的智能体,配备 Python REPL 和检索器两个工具。
Eugene Yan 撰文讲解如何将 LLM 模式匹配到常见问题,先区分外部与内部 LLM、数据型与非数据型模式。
LlamaIndex 发布教程,演示如何用 Text2SQL 加 RAG 分析商品评论数据。方法先把自然语言问题用 gpt-3.5-turbo 拆成取数与解读两个子问题。
Zep 为 LlamaIndex 推出新的 ZepVectorStore,可直接接入 Zep 的 Document Vector Store。开发者通过 ZepVectorStore 创建 Collection 并构建索引,即可对文档做混合语义搜索,并用 LlamaIndex 的 MetadataFilters 按元数据过滤结果。
LangChain 宣布与 Airbyte 达成更深度集成,在 Airbyte 中新增 LangChain destination,帮助检索类应用把数据摄取逻辑从原型推进到生产。
FlagOpen 开源 FlagEmbedding 项目,提供面向搜索和 RAG 的 BGE 一站式检索工具包,含 Embedder、Reranker 的推理、微调与评测,采用 MIT 许可证。
Eugene Yan 发表长文,将学术研究、行业资源与一线经验提炼为构建 LLM 系统与产品的七大模式:Evals、RAG、微调、缓存、Guardrails、防御式 UX 和用户反馈收集,并按提升性能与降低成本风险、靠近数据与靠近用户两个维度组织。
LangChain 团队尝试构建自动化网络研究的 agent,迭代搜索表现不佳后,改为并行搜索、抓取页面并用 LLM 从每页提取最相关内容,最终将其演化为一个新的 LangChain retriever,提供文档和配置示例。
LlamaIndex 宣布推出 v0.0.1 的 LlamaIndex.TS,一个 TypeScript 优先的库,帮助开发者将私有数据与大语言模型结合。
LlamaIndex 发布 Data Agents,LLM 驱动的知识工作者可对非结构化、半结构化和结构化数据执行读取与写入任务。
推荐理由:发布方亲自讲解 Data Agents 的推理循环与工具抽象设计,并给出可直接复用的代码示例,适合想在自己的数据上搭建智能体的开发者参考。
LlamaIndex 发布 0.7.0,继续推进低层模块化,让用户可自底向上构建基于自己数据的 LLM 应用。
作者为 LlamaIndex 新增了图数据库和 GraphQL API 两个数据加载器,并演示如何用加载器把外部数据接入 LLM 查询。文中先用 SimpleCSVReader 加载 countries.csv 构建 GPTVectorStoreIndex,配合 gpt-3.5-turbo 完成跨语言问答并返回引用文档。
LlamaIndex 与 Anyscale 联合发布教程,演示用 LlamaIndex + Ray 构建针对 Ray 文档和博客的查询引擎。
LlamaIndex 发布新博客系列 LlamaIndex Update,并推出多项功能更新:支持 NebulaGraph 的知识图谱 RAG、可内联引用来源的 CitationQueryEngine、集成 Microsoft Guidance 实现结构化输出,以及支持顺序工具调用和异步回调的 OpenAIAgent。
LlamaIndex 与 TruLens 团队合作,在 TruLens 最新版本中为 LlamaIndex 应用引入 tracing,只需几行代码即可自动评测应用输入输出、LLM 调用、检索到的上下文块、延迟等组件。开发者用 TruLlama 包装 query engine 并添加反馈函数,即可在 TruLens dashboard 中查看评测结果并定位检索块不相关导致的模型幻觉。