跳到正文
2024年2月8日周四
2024年1月31日周三
2024年1月30日周二
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 讲解 Agentic RAG:用多文档 Agent 构建可扩展的 RAG 架构

    LlamaIndex 博客介绍 Agentic RAG 架构:将最多 100 篇文档拆分后,为每篇文档创建具备嵌入搜索与摘要能力的文档 Agent,再由顶层 meta-agent 通过工具检索和 CoT 回答用户问题,并用 Rerank 端点对文档按相关性排序。

    推荐理由:原文拆解了多文档 Agent 与顶层 meta-agent 的编排结构,并给出可运行的 Colab 示例,读者可据此理解 Agentic RAG 的扩展方式。

2024年1月26日周五
2024年1月25日周四
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 教程:用 LlamaIndex、Qdrant 和 Render 构建可学习的 Slack 机器人

    LlamaIndex 发布分步教程,教读者用 LlamaIndex、Qdrant 和 Render 构建并部署一个监听 Slack 对话、存储事实并回答问题的 Slackbot。

    推荐理由:LlamaIndex 官方教程从零搭建一个能监听 Slack 消息、用向量索引存储记忆并用 Qdrant 持久化的机器人,步骤完整可复现。

2024年1月23日周二
2024年1月15日周一
2024年1月11日周四
2024年1月5日周五
  1. LlamaIndex:产品、工程与评测53

    LlamaIndex 发布高级 RAG 构建速查表与代码配方

    LlamaIndex 发布构建高级 RAG 的速查表与系列代码配方,将 RAG 成功标准归纳为检索找到最相关文档、生成充分利用检索结果两条要求。文章基于 RAG 综述论文(Gao, Yunfan et al. 2023)给出 Chunk-Size 优化、递归检索、信息压缩、重排序、生成器增强检索、迭代检索生成等 LlamaIndex 配方,并附评测指南与 RAGAs 集成。

2024年1月3日周三
2024年1月2日周二
  1. LlamaIndex:产品、工程与评测59

    LlamaIndex 工程师分享基于 AWS 的可扩展数据摄取管线实践

    LlamaIndex 作者将 25K 文档的索引构建时间从 10-20 分钟降到约 5 分钟,方法是部署 TEI 嵌入服务、RabbitMQ 队列和 EKS worker 集群。文章给出完整架构、CLI 命令和代码仓库 https://github.com/run-llama/llamaindex_aws_ingestion,测试数天花费约 $40CAD,并提醒用完后删除集群资源。

2023年12月21日周四
  1. LlamaIndex:产品、工程与评测71

    LlamaIndex 教程:用 Ollama 本地运行 Mixtral 8x7b 并构建 RAG 应用

    LlamaIndex 发布教程,讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型,各含 7B 参数,博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。

    推荐理由:原文提供从安装到建 API 的完整本地 Mixtral 流程,含代码和硬件要求,读者可以直接照做搭建本地 RAG。

2023年12月18日周一
  1. LlamaIndex:产品、工程与评测55

    用 LlamaIndex 和 Neo4j 搭建多模态 RAG 流水线的实践教程

    作者演示如何用 LlamaIndex 和 Neo4j 实现多模态 RAG 流水线,将文本与图像分别用 ada-002 和 CLIP 嵌入后存入两个向量库,检索结果交给 gpt-4-vision-preview 生成答案。测试数据为其 2022 与 2023 年的 Medium 文章,共解析出 252 个文本块和 328 张图片,代码已开源在 GitHub。

2023年12月15日周五
2023年12月7日周四
  1. LangChain:Blog60

    LangChain 发布幻灯片多模态 RAG 模板并对比两种检索方案

    LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上,多模态嵌入方案 CoT 准确率为 60%,图像摘要加 multi-vector retriever 达 90%,均高于仅文本抽取 RAG 的 20%;作者指出图像检索是核心挑战,并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。

    推荐理由:原文给出两种多模态 RAG 方案的对比评测与开源模板,读者可以直接复用其基准和部署路径。

2023年12月6日周三
2023年11月29日周三
2023年11月28日周二
2023年11月27日周一
2023年11月20日周一
2023年11月18日周六
2023年11月17日周五
  1. LlamaIndex:产品、工程与评测47

    GPT-4V 图表理解实验:通用提问、具体提问与 CoT 提示词对比

    实验用 Llama2 与 Mistral 论文中的柱状图、散点图和表格测试 GPT-4V,对比通用提问、具体提问和 CoT 提示词三种方式。结果显示,具体提问比笼统的“分析这张图”能得到更好回答;但 GPT-4V 仍会幻觉出图中不存在的 x 轴类别,并在区分 Llama2 与 Vicuna 的柱状条时出错。

2023年11月16日周四
  1. LlamaIndex:产品、工程与评测48

    用 LlamaIndex 微调 Cohere Reranker 提升检索性能

    LlamaIndex 现已支持基于 Cohere 微调 reranker(Custom reranker)构建自定义重排序模型,用于提升 RAG 检索性能。教程以 Lyft 2021 10K 文件训练、Uber 2021 10K 文件评测,训练至少需 256 组 query 与相关段落对、验证需 64 组,并建议提供约 5 个 hard negatives 以获得明显提升。

2023年11月8日周三
2023年11月6日周一
  1. LlamaIndex:产品、工程与评测71

    LlamaIndex 集成 LongLLMLingua:用提示词压缩缓解 RAG 的 Lost in the Middle 并降本

    LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua,通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。

    推荐理由:原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节,并给出在 LlamaIndex 中作为 NodePostprocessor 的用法,可迁移到自己的 RAG 成本优化。

2023年11月3日周五
  1. LlamaIndex:产品、工程与评测64

    LlamaIndex 评测:如何为 RAG 挑选最佳 Embedding 与 Reranker 模型组合

    LlamaIndex 用其 Retrieval Evaluation 模块,以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型(OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等)搭配不同 Reranker 的检索效果。

    推荐理由:原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据,读者可以照此在自己的数据上选型。

2023年10月18日周三
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 介绍用 LayoutPDFReader 提取 PDF 的章节、标题、段落和表格

    LlamaIndex 发布教程,介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF,实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码,并说明该工具仅支持带文本层的 PDF,暂不支持 OCR。

    推荐理由:文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法,含可直接复用的代码。

2023年10月17日周二
2023年10月16日周一
2023年10月5日周四
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 实测 RAG 系统的最佳 chunk size

    LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size,以 Uber 2021 10K 文件为数据。

    推荐理由:原文给出可复现的评测流程和具体数据,读者可以据此在自己的 RAG 场景中测试并选定合适的 chunk size。

2023年10月3日周二
2023年9月6日周三
2023年9月1日周五
  1. LlamaIndex:产品、工程与评测44

    ChatGPT 知识截止已满两年:构建应用时该如何应对?

    ChatGPT 的知识截止日期距今已满两年,OpenAI 不直接更新是因为训练新 LLM 成本高达数千万美元且不保证成功,清洗新数据集同样昂贵。若应用需要更新的数据,标准做法是 RAG(检索增强生成),即搜索相关上下文、喂给 LLM、获得更好回答,可规避上下文窗口限制和按词计费的 API 成本。

2023年8月31日周四
  1. OpenAI:官网动态60

    OpenAI 发布教师课堂使用 ChatGPT 指南

    OpenAI 发布面向教师的 ChatGPT 课堂使用指南。内容包含建议提示词、ChatGPT 工作原理及其局限性说明、AI 检测器的有效性,以及偏见问题。

    推荐理由:官方指南汇总了课堂提示词、模型局限与 AI 检测器效果等要点,教师可据此了解 ChatGPT 在教学中的实际用法。

2023年8月29日周二
2023年8月25日周五
2023年8月23日周三
  1. LangChain:Blog60

    LangChain 实战教程:用 LangSmith 微调并评测 LLaMA2-7b-chat 与 gpt-3.5-turbo

    LangChain 发布微调与评测指南,用 LangSmith 做数据集管理和评测,在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat,并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo,测试任务是知识图谱三元组抽取。

    推荐理由:原文给出了从数据集管理到评测的完整微调流程和实测分数,读者可以据此判断小模型微调与 GPT-4 few-shot 的取舍。