LlamaIndex 推出 GenAI 原生文档解析平台 LlamaParse,新增自然语言解析指令与 JSON 模式
LlamaIndex 发布 LlamaParse 正式版,定位为首个 GenAI 原生文档解析平台,公测 3 周内已有超过 2000 名用户解析超过 100 万页。
推荐理由:官方宣布 LlamaParse 正式版上线,解析指令、JSON 模式和定价等细节齐全,做文档 RAG 的读者可据此评估是否采用。
LlamaIndex 发布 LlamaParse 正式版,定位为首个 GenAI 原生文档解析平台,公测 3 周内已有超过 2000 名用户解析超过 100 万页。
推荐理由:官方宣布 LlamaParse 正式版上线,解析指令、JSON 模式和定价等细节齐全,做文档 RAG 的读者可据此评估是否采用。
LlamaIndex 基于 Gemini 1.5 Pro 的 1M 上下文窗口初步测试,提出长上下文 LLM 会简化 RAG 的分块、检索与摘要等环节,但仍面临文档规模超窗、嵌入模型上下文落后以及成本与延迟等挑战。
polySpectra 创始人 Raymond 撰文复盘为 3D 生成式 AI 工具 neThing.xyz 接入 RAG 的过程:通过 LlamaIndex 和 AstraDB 检索相关示例代码替代庞大的 system prompt。
LlamaIndex 发布 llama-index-networks 库扩展,可把多个外部数据源上的 RAG 系统组成网络供他人查询。
LlamaIndex 发布 LlamaParse 和 LlamaCloud,为 LLM 与 RAG 应用提供托管解析、摄取和检索服务。
推荐理由:官方发布新解析与托管数据管线服务,给出公共预览的用量限制、试用方式与存储伙伴集成,读者可据此评估是否引入现有 RAG 工作流。
LlamaIndex 推出面向 LLM 与 RAG 应用的托管解析、摄取与检索服务套件 LlamaParse。LlamaParse 专注解析含表格和图表的复杂文档,已进入公开预览,当前聚焦 PDF 并对公开用户设用量上限;托管摄取与检索 API 处于私有预览,支持通过 LlamaHub 接入超过 150 个数据源和 40 多种数据存储方案。
推荐理由:LlamaIndex 官方公告,列出 LlamaParse 的解析能力、公开预览状态和配套托管 API 的开放范围,便于评估是否引入 RAG 工作流。
LlamaIndex 发布教程,演示如何用 LlamaIndex Python API 结合 OpenAI GPT4V 和 LanceDB 构建视频多模态 RAG 系统。
LlamaIndex 发布 v0.10.0,是其 Python 包迄今最大更新。核心变化包括:拆出精简的 llama-index-core 包,数百个集成(150+ 数据加载器。
推荐理由:官方发布说明了包拆分、导入路径变化和迁移工具,正在迁移或维护 LlamaIndex 项目的开发者可以直接对照升级。
RAGArch 是一款基于 LlamaIndex 的无代码 RAG 流水线配置工具,支持在 Streamlit 界面中交互式选择 LLM、嵌入模型、Node Parser、响应合成方法与向量存储,并用自己的数据实时测试效果。
LlamaIndex 发布教程,讲解如何在 Weaviate 中结合其检索评测模块,对 RAG 混合检索中的 Alpha 参数进行调优,覆盖 Web 搜索、概念、事实、关键词、拼写错误和精确子串六类查询。
LlamaIndex 发布教程,演示如何用 LlamaIndex 与 Nomic Embed 构建完全开源的 RAG 检索器。
LlamaIndex 博客介绍 Agentic RAG 架构:将最多 100 篇文档拆分后,为每篇文档创建具备嵌入搜索与摘要能力的文档 Agent,再由顶层 meta-agent 通过工具检索和 CoT 回答用户问题,并用 Rerank 端点对文档按相关性排序。
推荐理由:原文拆解了多文档 Agent 与顶层 meta-agent 的编排结构,并给出可运行的 Colab 示例,读者可据此理解 Agentic RAG 的扩展方式。
LlamaIndex 推出 llamaindex-cli 命令行工具,随 pip install llama-index 安装,底层使用 Chroma 向量数据库,可不经写代码完成 RAG。
推荐理由:官方发布零代码 RAG 命令行工具,给出完整上手步骤和可换本地模型的自定义路径,读者可以直接照着试。
Tonic Validate 已原生集成进 LlamaIndex 核心库,可用于对 RAG 系统做集成测试与性能监控。教程演示了用 create-llama 搭建示例 RAG 应用(选用 gpt-4-1106-preview、FastAPI 模板),再通过 tonic-validate 编写测试,并结合 GitHub Actions 在 RAG 性能变化时发出告警。
LlamaIndex 发布分步教程,教读者用 LlamaIndex、Qdrant 和 Render 构建并部署一个监听 Slack 对话、存储事实并回答问题的 Slackbot。
推荐理由:LlamaIndex 官方教程从零搭建一个能监听 Slack 消息、用向量索引存储记忆并用 Qdrant 持久化的机器人,步骤完整可复现。
Modal 官方工程博客展示了用 Hugging Face Text Embedding Inference 在 Modal 无服务器平台上为整个英文 Wikipedia 生成嵌入向量的方案,耗时不到 15 分钟,成本约 15 美元。
LlamaIndex 发布教程,讲解如何在 RAG 系统中实现多租户隔离,确保各用户只能检索自己索引的文档。
LlamaIndex 与 Activeloop、Towards AI、Intel Disruptor Initiative 合作推出免费课程"Advanced Retrieval Augmented Generation for Production",属于 Gen AI 360 认证系列。
LlamaIndex 推出 Query Pipelines,一个全新的声明式 API,可用更少代码将 LLM、提示词、检索器、查询引擎等模块编排成顺序链或任意复杂度的 DAG,覆盖 RAG、结构化数据抽取等场景。它支持链式写法和 add_modules/add_link 构建 DAG 两种用法,自带端到端回调与可观测性集成,未来计划支持序列化和缓存层。
Eugene Yan 与朋友组建了每周论文俱乐部研读语言建模基础论文,并将一年份的论文清单整理发布,每篇附一句话总结。清单覆盖从 Attention Is All You Need、GPT 系列、Scaling Laws、Chinchilla、LoRA 到 RAG、DPO、CLIP、Whisper 等论文,涉及预训练、微调、检索增强、对齐和多模态等主题,并欢迎通过 PR 补充或纠错。
LlamaIndex 发布构建高级 RAG 的速查表与系列代码配方,将 RAG 成功标准归纳为检索找到最相关文档、生成充分利用检索结果两条要求。文章基于 RAG 综述论文(Gao, Yunfan et al. 2023)给出 Chunk-Size 优化、递归检索、信息压缩、重排序、生成器增强检索、迭代检索生成等 LlamaIndex 配方,并附评测指南与 RAGAs 集成。
教程演示如何结合 OpenLLM 与 LlamaIndex 构建基于自定义语料的智能查询响应系统。OpenLLM 负责部署开源 LLM,示例用 `openllm start meta-llama/Llama-2-7b-chat-hf --backend vllm` 启动 Llama 2 7B 本地服务。
LlamaIndex 作者将 25K 文档的索引构建时间从 10-20 分钟降到约 5 分钟,方法是部署 TEI 嵌入服务、RabbitMQ 队列和 EKS worker 集群。文章给出完整架构、CLI 命令和代码仓库 https://github.com/run-llama/llamaindex_aws_ingestion,测试数天花费约 $40CAD,并提醒用完后删除集群资源。
LlamaIndex 发布教程,讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型,各含 7B 参数,博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。
推荐理由:原文提供从安装到建 API 的完整本地 Mixtral 流程,含代码和硬件要求,读者可以直接照做搭建本地 RAG。
LlamaIndex 推出 LabelledEvaluatorDataset 和 LabelledPairwiseEvaluatorDataset 两款新 llama-dataset,用于评测作为评估器的 LLM,并配套发布 EvaluatorBenchmarkerPack。
作者演示如何用 LlamaIndex 和 Neo4j 实现多模态 RAG 流水线,将文本与图像分别用 ada-002 和 CLIP 嵌入后存入两个向量库,检索结果交给 gpt-4-vision-preview 生成答案。测试数据为其 2022 与 2023 年的 Medium 文章,共解析出 252 个文本块和 328 张图片,代码已开源在 GitHub。
LlamaIndex 发布教程,演示如何在 LlamaIndex 框架中用开源 Prometheus 模型对 RAG 做评估,并与 GPT-4 在 Correctness、Faithfulness、Context Relevancy 三项指标上对比。
LlamaIndex 在 Gemini 公开发布当天成为 day 1 启动合作伙伴,自 0.9.15 起全面支持 Gemini Pro 与 Gemini Ultra。集成覆盖纯文本与多模态两种变体,支持流式/非流式、同步/异步、补全/对话共 8 种组合,并新增对 Semantic Retriever API 的支持,可将存储、嵌入模型、检索与 LLM 打包为 RAG 流水线。
LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上,多模态嵌入方案 CoT 准确率为 60%,图像摘要加 multi-vector retriever 达 90%,均高于仅文本抽取 RAG 的 20%;作者指出图像检索是核心挑战,并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。
推荐理由:原文给出两种多模态 RAG 方案的对比评测与开源模板,读者可以直接复用其基准和部署路径。
Waii 与 LlamaIndex 集成推出新的 text-to-SQL 插件,让 LlamaIndex 智能体可同时调用数据库与 PDF 数据源。该插件通过内置编译器、知识图谱和语义规则,解决中大型数据库(数百张表、数千列)在 LLM 上下文窗口受限时查询不准的问题。
LlamaIndex 发布 Llama Datasets,一组由社区贡献、含问答对和源上下文的数据集,用于对不同用例的 RAG 流水线做基准评测,首批上线 10 个数据集,包括 PaulGrahamEssayDataset、FinanceBench、Uber/Lyft 2021 10K Filings 等。
OpenAI Cookbook 发布了一份使用 LlamaIndex 评估 RAG 系统的指南,分为理解 RAG、用 LlamaIndex 构建 RAG、评估 RAG 三部分。
开发者用 ResNet18 做动物图像分类、Cohere LLM 生成对话、LlamaIndex 做编排层,构建了受 Pokémon Go 启发的多模态 RAG 应用 AInimal Go!
LlamaIndex 推出 Llama Packs,一个社区驱动的预打包模块合集,用于快速启动 LLM 应用,已在 LlamaHub 上线 16+ 个与 Streamlit、Weaviate、Voyage AI 等伙伴合作的模板。模块可通过 CLI 或 Python 一行代码下载,支持开箱即用运行 RAG 管线,也可查看和修改全部代码,例如将默认 OpenAI LLM 替换为 Anthropic。
推荐理由:原文给出下载方式和代码示例,读者可以据此了解如何用预打包模块快速搭建 LLM 应用并自由定制。
LlamaIndex 发布 RAGs,一个 Streamlit 应用,无需写代码即可用自然语言创建并定制 RAG pipeline,对自己的数据实现「ChatGPT over your data」。
推荐理由:原文给出了用自然语言搭建 RAG pipeline 的三步流程、可编辑参数清单和开源仓库,读者可以直接部署复用。
Zephyr 7b LLM 结合 LlamaIndex 用于从图像文档中提取信息,以应对 OCR 在复杂版式、低质量图像、手写体和多语言场景下的局限。
LangChain 撰文解读 OpenAI 在 demo day 分享的客户 RAG 实验,将其归纳为基线检索、查询变换、路由、查询构造、索引构建和后处理等类别。
推荐理由:原文将 OpenAI 分享的 RAG 实验逐项拆解,并给出 LangChain 中可直接复用的对应实现入口。
LlamaIndex 现已支持基于 Cohere 微调 reranker(Custom reranker)构建自定义重排序模型,用于提升 RAG 检索性能。教程以 Lyft 2021 10K 文件训练、Uber 2021 10K 文件评测,训练至少需 256 组 query 与相关段落对、验证需 64 组,并建议提供约 5 个 hard negatives 以获得明显提升。
LlamaIndex 发布博客讲解如何评估多模态 RAG 系统,提出沿用文本 RAG 的检索与生成两阶段评测框架并做适配。
LlamaIndex 发布 0.9 大版本,引入 IngestionPipeline 数据摄取抽象,转换步骤自动缓存以加速重复运行。
推荐理由:官方梳理了 0.9 的数据摄取缓存、接口精简和 tokenizer 默认值变化,开发者可据此评估升级成本与迁移要点。