LlamaIndex.TS 如何用 TypeScript 构建 LLM 智能体
LlamaIndex.TS 发布教程,演示如何用 TypeScript 构建 LLM 智能体:先通过 FunctionTool 和 OpenAIAgent 搭建计算智能体,让模型自动调用 sum、multiply 函数完成"5+5 再乘 2"的多步计算。
LlamaIndex.TS 发布教程,演示如何用 TypeScript 构建 LLM 智能体:先通过 FunctionTool 和 OpenAIAgent 搭建计算智能体,让模型自动调用 sum、multiply 函数完成"5+5 再乘 2"的多步计算。
LlamaIndex 发布教程,讲解如何在 Weaviate 中结合其检索评测模块,对 RAG 混合检索中的 Alpha 参数进行调优,覆盖 Web 搜索、概念、事实、关键词、拼写错误和精确子串六类查询。
LlamaIndex 发布教程,演示如何用 LlamaIndex 与 Nomic Embed 构建完全开源的 RAG 检索器。
LlamaIndex 博客介绍 Agentic RAG 架构:将最多 100 篇文档拆分后,为每篇文档创建具备嵌入搜索与摘要能力的文档 Agent,再由顶层 meta-agent 通过工具检索和 CoT 回答用户问题,并用 Rerank 端点对文档按相关性排序。
推荐理由:原文拆解了多文档 Agent 与顶层 meta-agent 的编排结构,并给出可运行的 Colab 示例,读者可据此理解 Agentic RAG 的扩展方式。
Tonic Validate 已原生集成进 LlamaIndex 核心库,可用于对 RAG 系统做集成测试与性能监控。教程演示了用 create-llama 搭建示例 RAG 应用(选用 gpt-4-1106-preview、FastAPI 模板),再通过 tonic-validate 编写测试,并结合 GitHub Actions 在 RAG 性能变化时发出告警。
LlamaIndex 发布分步教程,教读者用 LlamaIndex、Qdrant 和 Render 构建并部署一个监听 Slack 对话、存储事实并回答问题的 Slackbot。
推荐理由:LlamaIndex 官方教程从零搭建一个能监听 Slack 消息、用向量索引存储记忆并用 Qdrant 持久化的机器人,步骤完整可复现。
Modal 官方工程博客展示了用 Hugging Face Text Embedding Inference 在 Modal 无服务器平台上为整个英文 Wikipedia 生成嵌入向量的方案,耗时不到 15 分钟,成本约 15 美元。
LlamaIndex 发布教程,讲解如何在 RAG 系统中实现多租户隔离,确保各用户只能检索自己索引的文档。
LlamaIndex 与 Activeloop、Towards AI、Intel Disruptor Initiative 合作推出免费课程"Advanced Retrieval Augmented Generation for Production",属于 Gen AI 360 认证系列。
LlamaIndex 发布构建高级 RAG 的速查表与系列代码配方,将 RAG 成功标准归纳为检索找到最相关文档、生成充分利用检索结果两条要求。文章基于 RAG 综述论文(Gao, Yunfan et al. 2023)给出 Chunk-Size 优化、递归检索、信息压缩、重排序、生成器增强检索、迭代检索生成等 LlamaIndex 配方,并附评测指南与 RAGAs 集成。
教程演示如何结合 OpenLLM 与 LlamaIndex 构建基于自定义语料的智能查询响应系统。OpenLLM 负责部署开源 LLM,示例用 `openllm start meta-llama/Llama-2-7b-chat-hf --backend vllm` 启动 Llama 2 7B 本地服务。
LlamaIndex 作者将 25K 文档的索引构建时间从 10-20 分钟降到约 5 分钟,方法是部署 TEI 嵌入服务、RabbitMQ 队列和 EKS worker 集群。文章给出完整架构、CLI 命令和代码仓库 https://github.com/run-llama/llamaindex_aws_ingestion,测试数天花费约 $40CAD,并提醒用完后删除集群资源。
LlamaIndex 发布教程,讲解如何用 Ollama 在本地运行 Mixtral 8x7b 并结合 LlamaIndex 使用。Mixtral 是 Mistral AI 发布的八专家混合模型,各含 7B 参数,博客称其在多项基准上匹敌或超过 GPT-3.5 和 Llama2 70b。
推荐理由:原文提供从安装到建 API 的完整本地 Mixtral 流程,含代码和硬件要求,读者可以直接照做搭建本地 RAG。
作者演示如何用 LlamaIndex 和 Neo4j 实现多模态 RAG 流水线,将文本与图像分别用 ada-002 和 CLIP 嵌入后存入两个向量库,检索结果交给 gpt-4-vision-preview 生成答案。测试数据为其 2022 与 2023 年的 Medium 文章,共解析出 252 个文本块和 328 张图片,代码已开源在 GitHub。
LlamaIndex 发布教程,演示如何在 LlamaIndex 框架中用开源 Prometheus 模型对 RAG 做评估,并与 GPT-4 在 Correctness、Faithfulness、Context Relevancy 三项指标上对比。
LangChain 针对幻灯片场景发布多模态 RAG 模板和包含 10 个问题的公开基准。在 Datadog 财报幻灯片上,多模态嵌入方案 CoT 准确率为 60%,图像摘要加 multi-vector retriever 达 90%,均高于仅文本抽取 RAG 的 20%;作者指出图像检索是核心挑战,并基于 Chroma 与 OpenCLIP 嵌入提供两步启动的部署模板。
推荐理由:原文给出两种多模态 RAG 方案的对比评测与开源模板,读者可以直接复用其基准和部署路径。
Waii 与 LlamaIndex 集成推出新的 text-to-SQL 插件,让 LlamaIndex 智能体可同时调用数据库与 PDF 数据源。该插件通过内置编译器、知识图谱和语义规则,解决中大型数据库(数百张表、数千列)在 LLM 上下文窗口受限时查询不准的问题。
Linear 在其所有工作空间中推出 Similar Issues 匹配功能,利用 LLM 生成向量嵌入并通过 PostgreSQL + pgvector 存储和搜索。该功能可在创建 Issue、Triage 收件箱及客户支持集成中自动提示可能重复或相关的已有 Issue,旨在减少重复劳动和积压管理负担。
OpenAI Cookbook 发布了一份使用 LlamaIndex 评估 RAG 系统的指南,分为理解 RAG、用 LlamaIndex 构建 RAG、评估 RAG 三部分。
开发者用 ResNet18 做动物图像分类、Cohere LLM 生成对话、LlamaIndex 做编排层,构建了受 Pokémon Go 启发的多模态 RAG 应用 AInimal Go!
Zephyr 7b LLM 结合 LlamaIndex 用于从图像文档中提取信息,以应对 OCR 在复杂版式、低质量图像、手写体和多语言场景下的局限。
LangChain 撰文解读 OpenAI 在 demo day 分享的客户 RAG 实验,将其归纳为基线检索、查询变换、路由、查询构造、索引构建和后处理等类别。
推荐理由:原文将 OpenAI 分享的 RAG 实验逐项拆解,并给出 LangChain 中可直接复用的对应实现入口。
实验用 Llama2 与 Mistral 论文中的柱状图、散点图和表格测试 GPT-4V,对比通用提问、具体提问和 CoT 提示词三种方式。结果显示,具体提问比笼统的“分析这张图”能得到更好回答;但 GPT-4V 仍会幻觉出图中不存在的 x 轴类别,并在区分 Llama2 与 Vicuna 的柱状条时出错。
LlamaIndex 现已支持基于 Cohere 微调 reranker(Custom reranker)构建自定义重排序模型,用于提升 RAG 检索性能。教程以 Lyft 2021 10K 文件训练、Uber 2021 10K 文件评测,训练至少需 256 组 query 与相关段落对、验证需 64 组,并建议提供约 5 个 hard negatives 以获得明显提升。
LlamaIndex 发布博客讲解如何评估多模态 RAG 系统,提出沿用文本 RAG 的检索与生成两阶段评测框架并做适配。
开发者基于微软 KOSMOS-2、Google PaLM API 和 LlamaIndex 搭建了一个 Streamlit 多模态原型,作为 ChatGPT 视觉能力的替代方案。
LlamaIndex 介绍如何在 RAG 中使用 LongLLMLingua,通过问题感知的粗粒度重排、细粒度提示词压缩和子序列恢复来增强 LLM 对关键信息的感知。
推荐理由:原文拆解了 LongLLMLingua 的粗细粒度压缩与重排细节,并给出在 LlamaIndex 中作为 NodePostprocessor 的用法,可迁移到自己的 RAG 成本优化。
LlamaIndex 用其 Retrieval Evaluation 模块,以 Hit Rate 和 MRR 两项指标评测多种 Embedding 模型(OpenAI、Cohere、Voyage、Jina、bge-large、Google PaLM 等)搭配不同 Reranker 的检索效果。
推荐理由:原文提供了可复现的评测脚本和各嵌入与重排模型组合的 Hit Rate 与 MRR 数据,读者可以照此在自己的数据上选型。
Meta AI 研究团队提出 RA-DIT(检索增强双重指令微调),通过分别微调 LLM 与检索器,让任意 LLM 获得检索能力。在知识密集型任务上,RA-DIT 65B 的 0-shot 平均 EM 达 50.5,高于 LLAMA 65B REPLUG 的 43.1 和 LLAMA 65B 的 32.9;64-shot 微调下平均 60.9,略超 ATLAS 的 56.8。
LlamaIndex 发布教程,介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF,实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码,并说明该工具仅支持带文本层的 PDF,暂不支持 OCR。
推荐理由:文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法,含可直接复用的代码。
作者复盘了 Streamlit LLM Hackathon 冠军应用 FinSight 的构建过程,用 LlamaIndex、FAISS 和 Streamlit 对公司 10-K 年报做 RAG 分析。
Rubric Labs 团队在 LangChain 博客发布指南,讲解为 Cal.com 构建的 AI 邮件调度助手 Cal.ai 的生产架构。
推荐理由:原文拆解了一个已在生产环境运行的邮件调度 Agent 架构,读者可以借鉴其工具设计与提示词构造方法。
LlamaIndex 演示如何用 Response Evaluation 模块评测 RAG 系统的最佳 chunk size,以 Uber 2021 10K 文件为数据。
推荐理由:原文给出可复现的评测流程和具体数据,读者可以据此在自己的 RAG 场景中测试并选定合适的 chunk size。
Kay 与 Cybersyn 合作在 LangChain 上线 SEC Retriever,开发者可通过 KayAiRetriever 检索 SEC 文件(如 10-K、10-Q)的上下文,用于生成式和对话式智能体。
LlamaIndex 推出 EmbeddingAdapterFinetuneEngine,在任意嵌入模型(如 sentence_transformers、OpenAI)的 query 嵌入上微调线性适配器,文档嵌入保持固定、无需重新嵌入。
ChatGPT 的知识截止日期距今已满两年,OpenAI 不直接更新是因为训练新 LLM 成本高达数千万美元且不保证成功,清洗新数据集同样昂贵。若应用需要更新的数据,标准做法是 RAG(检索增强生成),即搜索相关上下文、喂给 LLM、获得更好回答,可规避上下文窗口限制和按词计费的 API 成本。
OpenAI 发布面向教师的 ChatGPT 课堂使用指南。内容包含建议提示词、ChatGPT 工作原理及其局限性说明、AI 检测器的有效性,以及偏见问题。
推荐理由:官方指南汇总了课堂提示词、模型局限与 AI 检测器效果等要点,教师可据此了解 ChatGPT 在教学中的实际用法。
开发者基于 LlamaIndex 与 D-ID 构建了一套代码库知识转移(KT)自动生成系统,可将代码解析为独立代码块,用 LlamaIndex 的 SummaryIndex 生成整体摘要与逐块详解,再经 D-ID 结合微软文本转语音合成讲解视频,并与对应代码片段拼接。
LlamaIndex 发布端到端指南,教你在无标注的非结构化语料上用 LLM 生成合成问题对来微调开源嵌入模型 BAAI/bge-small-en。
推荐理由:原文提供了完整的无标注数据微调嵌入模型方法和评测结果,读者可以直接复用笔记本改进自己的 RAG 检索。
LangChain 发布微调与评测指南,用 LangSmith 做数据集管理和评测,在 CoLab 上以 qLoRA 微调 LLaMA2-7b-chat,并用 50 条样本微调 OpenAI 的 gpt-3.5-turbo,测试任务是知识图谱三元组抽取。
推荐理由:原文给出了从数据集管理到评测的完整微调流程和实测分数,读者可以据此判断小模型微调与 GPT-4 few-shot 的取舍。