跳到正文
2024年3月13日周三
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 推出 GenAI 原生文档解析平台 LlamaParse,新增自然语言解析指令与 JSON 模式

    LlamaIndex 发布 LlamaParse 正式版,定位为首个 GenAI 原生文档解析平台,公测 3 周内已有超过 2000 名用户解析超过 100 万页。

    推荐理由:官方宣布 LlamaParse 正式版上线,解析指令、JSON 模式和定价等细节齐全,做文档 RAG 的读者可据此评估是否采用。

2024年3月1日周五
2024年2月29日周四
2024年2月27日周二
2024年2月20日周二
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 发布 LlamaParse 及托管摄取与检索服务

    LlamaIndex 推出面向 LLM 与 RAG 应用的托管解析、摄取与检索服务套件 LlamaParse。LlamaParse 专注解析含表格和图表的复杂文档,已进入公开预览,当前聚焦 PDF 并对公开用户设用量上限;托管摄取与检索 API 处于私有预览,支持通过 LlamaHub 接入超过 150 个数据源和 40 多种数据存储方案。

    推荐理由:LlamaIndex 官方公告,列出 LlamaParse 的解析能力、公开预览状态和配套托管 API 的开放范围,便于评估是否引入 RAG 工作流。

2024年2月17日周六
2024年2月12日周一
  1. LlamaIndex:产品、工程与评测61

    LlamaIndex v0.10 发布:拆分 llama-index-core 与集成包并弃用 ServiceContext

    LlamaIndex 发布 v0.10.0,是其 Python 包迄今最大更新。核心变化包括:拆出精简的 llama-index-core 包,数百个集成(150+ 数据加载器。

    推荐理由:官方发布说明了包拆分、导入路径变化和迁移工具,正在迁移或维护 LlamaIndex 项目的开发者可以直接对照升级。

2024年2月2日周五
2024年1月31日周三
2024年1月30日周二
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 讲解 Agentic RAG:用多文档 Agent 构建可扩展的 RAG 架构

    LlamaIndex 博客介绍 Agentic RAG 架构:将最多 100 篇文档拆分后,为每篇文档创建具备嵌入搜索与摘要能力的文档 Agent,再由顶层 meta-agent 通过工具检索和 CoT 回答用户问题,并用 Rerank 端点对文档按相关性排序。

    推荐理由:原文拆解了多文档 Agent 与顶层 meta-agent 的编排结构,并给出可运行的 Colab 示例,读者可据此理解 Agentic RAG 的扩展方式。

2024年1月26日周五
2024年1月25日周四
  1. LlamaIndex:产品、工程与评测63

    LlamaIndex 教程:用 LlamaIndex、Qdrant 和 Render 构建可学习的 Slack 机器人

    LlamaIndex 发布分步教程,教读者用 LlamaIndex、Qdrant 和 Render 构建并部署一个监听 Slack 对话、存储事实并回答问题的 Slackbot。

    推荐理由:LlamaIndex 官方教程从零搭建一个能监听 Slack 消息、用向量索引存储记忆并用 Qdrant 持久化的机器人,步骤完整可复现。

2024年1月23日周二
2024年1月15日周一
2024年1月11日周四
2024年1月8日周一
  1. LlamaIndex:产品、工程与评测54

    LlamaIndex 发布 Query Pipelines 声明式查询编排 API

    LlamaIndex 推出 Query Pipelines,一个全新的声明式 API,可用更少代码将 LLM、提示词、检索器、查询引擎等模块编排成顺序链或任意复杂度的 DAG,覆盖 RAG、结构化数据抽取等场景。它支持链式写法和 add_modules/add_link 构建 DAG 两种用法,自带端到端回调与可观测性集成,未来计划支持序列化和缓存层。

2024年1月7日周日
  1. Eugene Yan:Writing54

    Eugene Yan 整理语言建模论文阅读清单,涵盖 Transformer 到 RAG 等 50 余篇基础论文

    Eugene Yan 与朋友组建了每周论文俱乐部研读语言建模基础论文,并将一年份的论文清单整理发布,每篇附一句话总结。清单覆盖从 Attention Is All You Need、GPT 系列、Scaling Laws、Chinchilla、LoRA 到 RAG、DPO、CLIP、Whisper 等论文,涉及预训练、微调、检索增强、对齐和多模态等主题,并欢迎通过 PR 补充或纠错。

2024年1月5日周五
  1. LlamaIndex:产品、工程与评测53

    LlamaIndex 发布高级 RAG 构建速查表与代码配方

    LlamaIndex 发布构建高级 RAG 的速查表与系列代码配方,将 RAG 成功标准归纳为检索找到最相关文档、生成充分利用检索结果两条要求。文章基于 RAG 综述论文(Gao, Yunfan et al. 2023)给出 Chunk-Size 优化、递归检索、信息压缩、重排序、生成器增强检索、迭代检索生成等 LlamaIndex 配方,并附评测指南与 RAGAs 集成。

2024年1月3日周三
2024年1月2日周二
  1. LlamaIndex:产品、工程与评测59

    LlamaIndex 工程师分享基于 AWS 的可扩展数据摄取管线实践

    LlamaIndex 作者将 25K 文档的索引构建时间从 10-20 分钟降到约 5 分钟,方法是部署 TEI 嵌入服务、RabbitMQ 队列和 EKS worker 集群。文章给出完整架构、CLI 命令和代码仓库 https://github.com/run-llama/llamaindex_aws_ingestion,测试数天花费约 $40CAD,并提醒用完后删除集群资源。

2023年12月21日周四
  1. LlamaIndex:产品、工程与评测71

    LlamaIndex 教程:用 Ollama 本地运行 Mixtral 8x7b 并构建 RAG 应用

    LlamaIndex 发布教程,讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型,各含 7B 参数,博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。

    推荐理由:原文提供从安装到建 API 的完整本地 Mixtral 流程,含代码和硬件要求,读者可以直接照做搭建本地 RAG。

2023年12月20日周三
2023年12月18日周一
  1. LlamaIndex:产品、工程与评测55

    用 LlamaIndex 和 Neo4j 搭建多模态 RAG 流水线的实践教程

    作者演示如何用 LlamaIndex 和 Neo4j 实现多模态 RAG 流水线,将文本与图像分别用 ada-002 和 CLIP 嵌入后存入两个向量库,检索结果交给 gpt-4-vision-preview 生成答案。测试数据为其 2022 与 2023 年的 Medium 文章,共解析出 252 个文本块和 328 张图片,代码已开源在 GitHub。

2023年12月15日周五
2023年12月13日周三
  1. LlamaIndex:产品、工程与评测43

    LlamaIndex 宣布支持 Gemini,并集成 Semantic Retriever API

    LlamaIndex 在 Gemini 公开发布当天成为 day 1 启动合作伙伴,自 0.9.15 起全面支持 Gemini Pro 与 Gemini Ultra。集成覆盖纯文本与多模态两种变体,支持流式/非流式、同步/异步、补全/对话共 8 种组合,并新增对 Semantic Retriever API 的支持,可将存储、嵌入模型、检索与 LLM 打包为 RAG 流水线。

2023年12月7日周四
  1. LangChain:Blog60

    LangChain 发布幻灯片多模态 RAG 模板并对比两种检索方案

    LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上,多模态嵌入方案 CoT 准确率为 60%,图像摘要加 multi-vector retriever 达 90%,均高于仅文本抽取 RAG 的 20%;作者指出图像检索是核心挑战,并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。

    推荐理由:原文给出两种多模态 RAG 方案的对比评测与开源模板,读者可以直接复用其基准和部署路径。

2023年12月6日周三
2023年12月4日周一
2023年11月28日周二
2023年11月27日周一
2023年11月22日周三
  1. LlamaIndex:产品、工程与评测62

    LlamaIndex 推出 Llama Packs 预打包模块社区

    LlamaIndex 推出 Llama Packs,一个社区驱动的预打包模块合集,用于快速启动 LLM 应用,已在 LlamaHub 上线 16+ 个与 Streamlit、Weaviate、Voyage AI 等伙伴合作的模板。模块可通过 CLI 或 Python 一行代码下载,支持开箱即用运行 RAG 管线,也可查看和修改全部代码,例如将默认 OpenAI LLM 替换为 Anthropic。

    推荐理由:原文给出下载方式和代码示例,读者可以据此了解如何用预打包模块快速搭建 LLM 应用并自由定制。

2023年11月21日周二
2023年11月20日周一
2023年11月18日周六
2023年11月16日周四
  1. LlamaIndex:产品、工程与评测48

    用 LlamaIndex 微调 Cohere Reranker 提升检索性能

    LlamaIndex 现已支持基于 Cohere 微调 reranker(Custom reranker)构建自定义重排序模型,用于提升 RAG 检索性能。教程以 Lyft 2021 10K 文件训练、Uber 2021 10K 文件评测,训练至少需 256 组 query 与相关段落对、验证需 64 组,并建议提供约 5 个 hard negatives 以获得明显提升。

2023年11月15日周三