跳到正文
2023年11月14日周二
2023年11月10日周五
  1. LlamaIndex:产品、工程与评测65

    LlamaIndex 推出多模态 RAG 新抽象,支持 GPT-4V 与 CLIP 的图文混合检索

    LlamaIndex 发布多模态 RAG 支持能力,新增 OpenAIMultiModal、ReplicateMultiModal、MultiModalEmbedding(CLIP)和 MultiModalVectorStoreIndex 等抽象,可对文本和图像统一索引与检索。

    推荐理由:原文由 LlamaIndex 给出多模态 RAG 的新抽象与代码示例,读者可以直接了解 GPT-4V、CLIP 与 Qdrant 在同一管线中的组合方式。

2023年11月8日周三
2023年11月7日周二
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 同日支持 OpenAI 开发者日新模型 GPT-4 Turbo 与视觉版

    LlamaIndex 在 OpenAI 开发者日当天更新库,支持 gpt-4-1106-preview(GPT-4 Turbo,128,000 token 上下文窗口、JSON mode、并行函数调用等)和 gpt-4-vision-preview 多模态模型。同时新增 Azure OpenAI 端点、嵌入抽象与函数调用示例,其 RAG 演示 SEC Insights 已改用最新版 GPT-4。

    推荐理由:LlamaIndex 当天即完成对 OpenAI 新模型的支持,读者可借此了解新能力在 RAG 工作流中的接入方式。

2023年11月6日周一
  1. LlamaIndex:产品、工程与评测71

    LlamaIndex 集成 LongLLMLingua:用提示词压缩缓解 RAG 的 Lost in the Middle 并降本

    LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua,通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。

    推荐理由:原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节,并给出在 LlamaIndex 中作为 NodePostprocessor 的用法,可迁移到自己的 RAG 成本优化。

2023年11月3日周五
  1. LlamaIndex:产品、工程与评测64

    LlamaIndex 评测:如何为 RAG 挑选最佳 Embedding 与 Reranker 模型组合

    LlamaIndex 用其 Retrieval Evaluation 模块,以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型(OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等)搭配不同 Reranker 的检索效果。

    推荐理由:原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据,读者可以照此在自己的数据上选型。

2023年10月22日周日
2023年10月18日周三
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 介绍用 LayoutPDFReader 提取 PDF 的章节、标题、段落和表格

    LlamaIndex 发布教程,介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF,实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码,并说明该工具仅支持带文本层的 PDF,暂不支持 OCR。

    推荐理由:文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法,含可直接复用的代码。

2023年10月17日周二
2023年10月15日周日
  1. Eugene Yan:Writing58

    Eugene Yan 复盘首届 AI Engineer Summit:评测与服务成本是 LLM 部署最大痛点

    Eugene Yan 参加在旧金山举行的首届 AI Engineer Summit 并分享 LLM 系统构建演讲,总结出多条要点。Amplify Partners 超 800 份问卷显示评测(evals)与服务成本是部署最大痛点;assert 断言确定但脆弱,用第三方 LLM 评分则规模化后成本高,团队用 VCR.py 缓存应对;代码生成因可直接运行验证而最易评测。

2023年10月10日周二
2023年10月5日周四
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 实测 RAG 系统的最佳 chunk size

    LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size,以 Uber 2021 10K 文件为数据。

    推荐理由:原文给出可复现的评测流程和具体数据,读者可以据此在自己的 RAG 场景中测试并选定合适的 chunk size。

2023年10月3日周二
2023年9月27日周三
2023年9月25日周一
2023年9月21日周四
2023年9月6日周三
2023年9月3日周日
2023年9月1日周五
  1. LlamaIndex:产品、工程与评测44

    ChatGPT 知识截止已满两年:构建应用时该如何应对?

    ChatGPT 的知识截止日期距今已满两年,OpenAI 不直接更新是因为训练新 LLM 成本高达数千万美元且不保证成功,清洗新数据集同样昂贵。若应用需要更新的数据,标准做法是 RAG(检索增强生成),即搜索相关上下文、喂给 LLM、获得更好回答,可规避上下文窗口限制和按词计费的 API 成本。

2023年8月29日周二
2023年8月25日周五
2023年8月24日周四
  1. LangChain:Blog41

    Cube 与 LangChain 集成:用语义层构建 LLM 的 text-to-sql 应用

    Cube 与 LangChain 集成,推出 CubeSemanticLoader 文档加载器,可将语义层数据模型的嵌入向量写入向量数据库,用于将自然语言问题匹配到数据模型中的视图和字段。官方同时提供基于 OpenAI、FAISS 和 Streamlit 的对话式演示应用,示例提示词可生成查询 Cube SQL API 的语句,代码已在 GitHub 开源。

2023年8月22日周二
2023年8月21日周一
2023年8月15日周二
2023年8月13日周日
2023年8月12日周六
2023年8月11日周五
2023年8月9日周三
2023年8月2日周三
2023年7月30日周日
2023年7月26日周三
2023年7月24日周一
2023年7月12日周三
  1. LlamaIndex:产品、工程与评测70

    LlamaIndex 发布 Data Agents 与 LlamaHub 工具仓库

    LlamaIndex 发布 Data Agents,LLM 驱动的知识工作者可对非结构化、半结构化和结构化数据执行读取与写入任务。

    推荐理由:发布方亲自讲解 Data Agents 的推理循环与工具抽象设计,并给出可直接复用的代码示例,适合想在自己的数据上搭建智能体的开发者参考。

2023年7月4日周二
2023年6月30日周五
2023年6月27日周二
2023年6月26日周一
2023年6月23日周五
  1. LlamaIndex:产品、工程与评测49

    用 LlamaIndex 和 TruLens 构建与评测 LLM 应用

    LlamaIndex 与 TruLens 团队合作,在 TruLens 最新版本中为 LlamaIndex 应用引入 tracing,只需几行代码即可自动评测应用输入输出、LLM 调用、检索到的上下文块、延迟等组件。开发者用 TruLlama 包装 query engine 并添加反馈函数,即可在 TruLens dashboard 中查看评测结果并定位检索块不相关导致的模型幻觉。