跳到正文
2023年12月7日周四
  1. LangChain:Blog60

    LangChain 发布幻灯片多模态 RAG 模板并对比两种检索方案

    LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上,多模态嵌入方案 CoT 准确率为 60%,图像摘要加 multi-vector retriever 达 90%,均高于仅文本抽取 RAG 的 20%;作者指出图像检索是核心挑战,并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。

    推荐理由:原文给出两种多模态 RAG 方案的对比评测与开源模板,读者可以直接复用其基准和部署路径。

2023年12月6日周三
2023年12月4日周一
2023年11月28日周二
2023年11月27日周一
2023年11月22日周三
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 推出 Llama Packs 预打包模块社区

    LlamaIndex 推出 Llama Packs,一个社区驱动的预打包模块合集,用于快速启动 LLM 应用,已在 LlamaHub 上线 16+ 个与 Streamlit、Weaviate、Voyage AI 等伙伴合作的模板。模块可通过 CLI 或 Python 一行代码下载,支持开箱即用运行 RAG 管线,也可查看和修改全部代码,例如将默认 OpenAI LLM 替换为 Anthropic。

    推荐理由:原文给出下载方式和代码示例,读者可以据此了解如何用预打包模块快速搭建 LLM 应用并自由定制。

2023年11月21日周二
2023年11月20日周一
2023年11月18日周六
2023年11月16日周四
  1. LlamaIndex:产品、工程与评测48

    用 LlamaIndex 微调 Cohere Reranker 提升检索性能

    LlamaIndex 现已支持基于 Cohere 微调 reranker(Custom reranker)构建自定义重排序模型,用于提升 RAG 检索性能。教程以 Lyft 2021 10K 文件训练、Uber 2021 10K 文件评测,训练至少需 256 组 query 与相关段落对、验证需 64 组,并建议提供约 5 个 hard negatives 以获得明显提升。

2023年11月15日周三
2023年11月14日周二
2023年11月10日周五
  1. LlamaIndex:产品、工程与评测65

    LlamaIndex 推出多模态 RAG 新抽象,支持 GPT-4V 与 CLIP 的图文混合检索

    LlamaIndex 发布多模态 RAG 支持能力,新增 OpenAIMultiModal、ReplicateMultiModal、MultiModalEmbedding(CLIP)和 MultiModalVectorStoreIndex 等抽象,可对文本和图像统一索引与检索。

    推荐理由:原文由 LlamaIndex 给出多模态 RAG 的新抽象与代码示例,读者可以直接了解 GPT-4V、CLIP 与 Qdrant 在同一管线中的组合方式。

2023年11月8日周三
2023年11月7日周二
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 同日支持 OpenAI 开发者日新模型 GPT-4 Turbo 与视觉版

    LlamaIndex 在 OpenAI 开发者日当天更新库,支持 gpt-4-1106-preview(GPT-4 Turbo,128,000 token 上下文窗口、JSON mode、并行函数调用等)和 gpt-4-vision-preview 多模态模型。同时新增 Azure OpenAI 端点、嵌入抽象与函数调用示例,其 RAG 演示 SEC Insights 已改用最新版 GPT-4。

    推荐理由:LlamaIndex 当天即完成对 OpenAI 新模型的支持,读者可借此了解新能力在 RAG 工作流中的接入方式。

2023年11月6日周一
  1. LlamaIndex:产品、工程与评测71

    LlamaIndex 集成 LongLLMLingua:用提示词压缩缓解 RAG 的 Lost in the Middle 并降本

    LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua,通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。

    推荐理由:原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节,并给出在 LlamaIndex 中作为 NodePostprocessor 的用法,可迁移到自己的 RAG 成本优化。

2023年11月3日周五
  1. LlamaIndex:产品、工程与评测64

    LlamaIndex 评测:如何为 RAG 挑选最佳 Embedding 与 Reranker 模型组合

    LlamaIndex 用其 Retrieval Evaluation 模块,以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型(OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等)搭配不同 Reranker 的检索效果。

    推荐理由:原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据,读者可以照此在自己的数据上选型。

2023年10月22日周日
2023年10月18日周三
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 介绍用 LayoutPDFReader 提取 PDF 的章节、标题、段落和表格

    LlamaIndex 发布教程,介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF,实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码,并说明该工具仅支持带文本层的 PDF,暂不支持 OCR。

    推荐理由:文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法,含可直接复用的代码。

2023年10月17日周二
2023年10月10日周二
2023年10月5日周四
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 实测 RAG 系统的最佳 chunk size

    LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size,以 Uber 2021 10K 文件为数据。

    推荐理由:原文给出可复现的评测流程和具体数据,读者可以据此在自己的 RAG 场景中测试并选定合适的 chunk size。

2023年10月3日周二
2023年9月27日周三
2023年9月25日周一
2023年9月21日周四
2023年9月6日周三
2023年9月1日周五
  1. LlamaIndex:产品、工程与评测44

    ChatGPT 知识截止已满两年:构建应用时该如何应对?

    ChatGPT 的知识截止日期距今已满两年,OpenAI 不直接更新是因为训练新 LLM 成本高达数千万美元且不保证成功,清洗新数据集同样昂贵。若应用需要更新的数据,标准做法是 RAG(检索增强生成),即搜索相关上下文、喂给 LLM、获得更好回答,可规避上下文窗口限制和按词计费的 API 成本。

2023年8月29日周二
2023年8月25日周五
2023年8月24日周四
  1. LangChain:Blog41

    Cube 与 LangChain 集成:用语义层构建 LLM 的 text-to-sql 应用

    Cube 与 LangChain 集成,推出 CubeSemanticLoader 文档加载器,可将语义层数据模型的嵌入向量写入向量数据库,用于将自然语言问题匹配到数据模型中的视图和字段。官方同时提供基于 OpenAI、FAISS 和 Streamlit 的对话式演示应用,示例提示词可生成查询 Cube SQL API 的语句,代码已在 GitHub 开源。

2023年8月22日周二
2023年8月21日周一
2023年8月15日周二
2023年8月12日周六
2023年8月11日周五
2023年8月9日周三
2023年8月2日周三