LlamaIndex 发布 RAGs:用自然语言搭建专属数据的 ChatGPT 应用
LlamaIndex 发布 RAGs,一个 Streamlit 应用,无需写代码即可用自然语言创建并定制 RAG pipeline,对自己的数据实现「ChatGPT over your data」。
推荐理由:原文给出了用自然语言搭建 RAG pipeline 的三步流程、可编辑参数清单和开源仓库,读者可以直接部署复用。
LlamaIndex 发布 RAGs,一个 Streamlit 应用,无需写代码即可用自然语言创建并定制 RAG pipeline,对自己的数据实现「ChatGPT over your data」。
推荐理由:原文给出了用自然语言搭建 RAG pipeline 的三步流程、可编辑参数清单和开源仓库,读者可以直接部署复用。
LlamaIndex 发布 0.9 大版本,引入 IngestionPipeline 数据摄取抽象,转换步骤自动缓存以加速重复运行。
推荐理由:官方梳理了 0.9 的数据摄取缓存、接口精简和 tokenizer 默认值变化,开发者可据此评估升级成本与迁移要点。
LlamaIndex 推出 create-llama 命令行工具,通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
推荐理由:原文给出了脚手架工具的技术选项和数据接入方式,开发者可以据此快速判断是否用它搭建 LlamaIndex 应用。
LlamaIndex 发布多模态 RAG 支持能力,新增 OpenAIMultiModal、ReplicateMultiModal、MultiModalEmbedding(CLIP)和 MultiModalVectorStoreIndex 等抽象,可对文本和图像统一索引与检索。
推荐理由:原文由 LlamaIndex 给出多模态 RAG 的新抽象与代码示例,读者可以直接了解 GPT-4V、CLIP 与 Qdrant 在同一管线中的组合方式。
LlamaIndex 在 OpenAI 开发者日当天更新库,支持 gpt-4-1106-preview(GPT-4 Turbo,128,000 token 上下文窗口、JSON mode、并行函数调用等)和 gpt-4-vision-preview 多模态模型。同时新增 Azure OpenAI 端点、嵌入抽象与函数调用示例,其 RAG 演示 SEC Insights 已改用最新版 GPT-4。
推荐理由:LlamaIndex 当天即完成对 OpenAI 新模型的支持,读者可借此了解新能力在 RAG 工作流中的接入方式。
OpenAI 在 DevDay 上发布 GPT-4 Turbo,支持 128K 上下文且价格更低,同时推出新模型和开发者产品,包括 Assistants API、GPT-4 Turbo with Vision 和 DALL·E 3 API 等。
推荐理由:官方一次性列出多模型与开发者产品更新,128K 上下文和降价信息可帮助开发者评估迁移成本。
OpenAI 推出 GPTs,用户可以创建结合指令、额外知识和任意技能组合的 ChatGPT 自定义版本。
推荐理由:OpenAI 官方宣布用户可自建结合指令、额外知识与技能的定制版 ChatGPT,可据此了解这一新功能的用途。
正式发布 PromptIDE,一款面向大语言模型提示词开发的集成开发环境,支持提示词编写、调试与优化全流程,内置代码执行、版本管理与性能分析工具,旨在提升提示工程师和开发者的迭代效率与协作体验。
LangChain 为上周发布的部署工具 LangServe 新增 Playground 和可配置能力,部署 chain 后即可免费获得带流式输出、中间步骤完整日志和可调参数的 UI。该配置基于 LangChain Expression Language,可通过 URL 保存不同配置版本,目前配置尚不持久化,持久化部署平台正处于 alpha 测试阶段。
OpenAI 宣布 DALL·E 3 正式在 ChatGPT Plus 和 Enterprise 中可用。官方表示已为更广泛发布构建了安全缓解措施堆栈,并同步分享了来源(provenance)研究的最新进展。
推荐理由:官方宣布 DALL·E 3 上线 ChatGPT Plus 和 Enterprise,并提及安全缓解措施与来源研究进展。
LlamaIndex 发布与 Arize AI Phoenix 的一行代码集成,为所有 RAG/agent 流水线提供全链路追踪与可观测性,数据可本地存储并支持导出 trace 用于评测。
Runway Gen-2 视频生成模型正式接入 Canva Magic Media 应用,向 1.5 亿月活用户开放。用户可直接在 Canva 中调用 Gen-2 完整功能,无需切换平台即可为设计添加 AI 视频生成能力。
Timescale Vector 集成 LlamaIndex,让开发者用 PostgreSQL 构建 AI 应用。其受 DiskANN 启发的新索引在 100 万条 OpenAI 嵌入向量上实现约 99% 召回率下比专用数据库快 3 倍,比现有 PostgreSQL 索引快 39.39% 至 1,590.33%,并支持 HNSW 与 IVFFlat。
OpenAI 宣布 ChatGPT 新增看、听、说能力。用户可向 ChatGPT 展示图像并进行对话讨论,也可用语音与它交流。
Timescale Vector 与 LangChain 集成,让开发者用 PostgreSQL 作为向量数据库构建 AI 应用。其受 DiskANN 启发的新索引在 100 万条 OpenAI 嵌入上实现约 99% 召回率下比 Weaviate 快 243%,并支持基于时间的向量过滤与 RAG 上下文检索。LangChain 用户可获 90 天免费试用。
LlamaIndex 开源了 SECInsights.ai,加速生产级 RAG 应用开发,并推出 Replit 模板实现零环境配置启动项目。新版本还带来线性适配器微调、层级 Agent、SummaryIndex 重命名及 RAG 评估工具包,检索优化可带来 10–20% 效果提升。
LlamaIndex 现已支持直接使用 Airbyte 的 Gong、Hubspot、Salesforce、Shopify、Stripe、Typeform 和 Zendesk Support 数据源,以 data loader 形式实现。
OpenAI 发布 ChatGPT Enterprise,提供企业级安全与隐私保障,并称这是迄今最强大的 ChatGPT 版本。
推荐理由:OpenAI 官方宣布面向企业的 ChatGPT 版本,主打企业级安全隐私与更强能力,可帮助读者了解其商业产品线动向。
Cube 与 LangChain 集成,推出 CubeSemanticLoader 文档加载器,可将语义层数据模型的嵌入向量写入向量数据库,用于将自然语言问题匹配到数据模型中的视图和字段。官方同时提供基于 OpenAI、FAISS 和 Streamlit 的对话式演示应用,示例提示词可生成查询 Cube SQL API 的语句,代码已在 GitHub 开源。
LangChain 与 Airbyte 合作,将 Gong、Hubspot、Salesforce、Shopify、Stripe、Typeform 和 Zendesk Support 七种 Airbyte 数据源实现为 document loaders,可直接在 LangChain 应用中使用。
OpenAI 宣布开发者可使用自有数据对 GPT-3.5 Turbo 进行微调,以适配各自的使用场景。此次更新同时包含若干 API 更新。
推荐理由:官方宣布开发者可用自有数据微调 GPT-3.5 Turbo,适合关注模型定制入口变化的读者。
LlamaIndex 与 Metaphor 发布集成,将 LlamaIndex data agent 与 Metaphor 作为原生 LLM 搜索工具结合,使 agent 能对任意新近或复杂问题进行联网检索并执行任务。
LangChain 宣布与 Airbyte 达成更深度集成,在 Airbyte 中新增 LangChain destination,帮助检索类应用把数据摄取逻辑从原型推进到生产。
LlamaIndex 与 Zapier NLA 团队联合宣布 LlamaIndex 数据智能体接入 Zapier NLA。用 ZapierToolSpec 和 OpenAIAgent 约 5 行代码即可访问 Zapier 上的 5000+ 第三方应用和 30000+ 动作,示例展示了总结未读邮件并发送到 Slack。提供免费与付费方案。
LlamaIndex 宣布推出 v0.0.1 的 LlamaIndex.TS,一个 TypeScript 优先的库,帮助开发者将私有数据与大语言模型结合。
OpenAI 推出 ChatGPT 自定义指令功能,让用户对 ChatGPT 的回复方式有更多控制。用户设置偏好后,ChatGPT 会在之后的所有对话中记住并遵循这些偏好。
推荐理由:ChatGPT 新增自定义指令功能,用户可一次设定偏好并作用于后续所有对话,便于按需调整回复方式。
LlamaIndex 发布 Data Agents,LLM 驱动的知识工作者可对非结构化、半结构化和结构化数据执行读取与写入任务。
推荐理由:发布方亲自讲解 Data Agents 的推理循环与工具抽象设计,并给出可直接复用的代码示例,适合想在自己的数据上搭建智能体的开发者参考。
LlamaIndex 发布 0.7.0,继续推进低层模块化,让用户可自底向上构建基于自己数据的 LLM 应用。
LlamaIndex 发布新博客系列 LlamaIndex Update,并推出多项功能更新:支持 NebulaGraph 的知识图谱 RAG、可内联引用来源的 CitationQueryEngine、集成 Microsoft Guidance 实现结构化输出,以及支持顺序工具调用和异步回调的 OpenAIAgent。
OpenAI 宣布 API 更新,包括可控性更强的模型、函数调用(function calling)能力、更长的上下文以及更低的价格。
推荐理由:原文给出 OpenAI API 的功能调用、上下文与价格等更新方向,读者可据此评估对现有接入成本和控制力的影响。
OpenAI 推出 ChatGPT iOS 应用。应用支持跨设备同步对话记录和语音输入,并将最新模型改进带给用户。
推荐理由:官方宣布 iOS 应用上线,对话同步和语音输入信息来自当事方,读者可了解 ChatGPT 的移动端入口。
LangChain 发布名为 Plan-and-Execute 的新型智能体执行器,先由 planner 规划步骤,再由执行器逐步完成,与此前基于 ReAct 的 Action Agent 形成对比。该设计将规划与执行分离以提升可靠性,代价是更多 LLM 调用,灵感来自 BabyAGI 和 Plan-and-Solve 论文,首版放在实验模块,提供 Python 和 JS/TS 文档。
推荐理由:原文解释了 Plan-and-Execute 与传统 Action Agent 的算法差异和代价,读者可以据此判断它适合的复杂任务场景。
LangChain 开源的 LLM 问答链自动评测工具现推出免费托管的 hosted 应用与 API,支持 Demo 和 Playground 两种用法,可自动生成 QA 测试集并给用户配置的 QA 链打分。
OpenAI 宣布 ChatGPT 用户现在可以关闭聊天记录,从而选择哪些对话可用于训练其模型。
LangChain 调整抽象,引入只要求实现 get_relevant_documents 方法的 Retriever 概念,方便使用 LangChain 之外构建的检索器(如 OpenAI 的 ChatGPT Retrieval Plugin)并鼓励混合搜索等替代检索方法。
OpenAI 宣布在 ChatGPT 中实现对 plugins 的初步支持。插件是以安全为核心原则、专为语言模型设计的工具,可帮助 ChatGPT 获取最新信息、运行计算或使用第三方服务。
推荐理由:原文是 OpenAI 官方对 ChatGPT 插件机制的首批说明,读者可以借此了解插件如何让 ChatGPT 获取最新信息和调用第三方服务。
OpenAI 为 ChatGPT 推出试点订阅计划 ChatGPT Plus。ChatGPT 是一款对话式 AI,可与用户聊天、回答追问并纠正错误假设。
推荐理由:OpenAI 官方宣布订阅计划,读者可以据此了解 ChatGPT 的商业化入口。
OpenAI 发布了一个经过训练的分类器,用于区分 AI 生成文本和人类撰写文本。
OpenAI 宣布 DALL·E API 即日起开放公测,开发者可以开始使用该 API 构建应用。
推荐理由:OpenAI 官方开放 DALL·E API 公测,开发者可以直接据此评估是否将图像生成接入自己的应用。
OpenAI 宣布 DALL·E 取消候补名单,新用户可以立即开始生成图像。官方表示这一更广泛的开放来自部署中积累的经验和安全系统的改进。
推荐理由:原文说明开放注册的前提来自部署经验与安全系统改进,读者可以据此理解其放开访问的背景。