利用 Lookahead Decoding 打破 LLM 推理的顺序依赖
研究团队发布 lookahead decoding 并行解码算法，基于 Jacobi 迭代同时提取验证 n-grams，无需草稿模型即可打破自回归解码的顺序依赖。该方法可将 LLaMA-2-Chat 7B 等模型的推理延迟降低 1.5 至 2.3 倍，解码步骤数随每步 log(FLOPs) 线性减少，且已与 HuggingFace Transformers 兼容，仅需数行代码即可集成。
#部署/工程
LMSYS Blog
LMSYS Blog 服务数千个并发 LoRA 适配器的方案
S-LoRA 是一个专为大规模并发 LoRA 适配器服务设计的系统，通过统一分页技术动态管理 KV 缓存与适配器权重内存以减少碎片，并采用异构批处理优化不同秩的 LoRA 计算。该系统支持张量并行扩展至多 GPU，相比 HuggingFace PEFT 和 vLLM，吞吐量提升最高达 4 倍，可同时服务的适配器数量增加数个数量级。
LlamaIndex：产品、工程与评测精选AI 评分6161 LlamaIndex 发布 create-llama 命令行工具，一键生成全栈 LlamaIndex 应用
LlamaIndex 推出 create-llama 命令行工具，通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
推荐理由：原文给出了脚手架工具的技术选项和数据接入方式，开发者可以据此快速判断是否用它搭建 LlamaIndex 应用。
LangChain：BlogAI 评分4444 LangChain 为 LangServe 新增 Playground 与可配置能力
LangChain 为上周发布的部署工具 LangServe 新增 Playground 和可配置能力，部署 chain 后即可免费获得带流式输出、中间步骤完整日志和可调参数的 UI。该配置基于 LangChain Expression Language，可通过 URL 保存不同配置版本，目前配置尚不持久化，持久化部署平台正处于 alpha 测试阶段。
LlamaIndex：产品、工程与评测精选AI 评分6363 LlamaIndex 介绍用 LayoutPDFReader 提取 PDF 的章节、标题、段落和表格
LlamaIndex 发布教程，介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF，实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码，并说明该工具仅支持带文本层的 PDF，暂不支持 OCR。
推荐理由：文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法，含可直接复用的代码。
Modal 官方工程博客精选AI 评分6363 Modal 正式开放注册并宣布完成 1600 万美元 A 轮融资
云函数平台 Modal 正式全面开放，任何人可注册并在几分钟内于云端运行代码，同时宣布完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资。
推荐理由：官方宣布开放注册并公布融资，文中列出 GPU 型号、计费方式和 Ramp、Substack、Suno 等生产用户，可了解其定位与用法。
Modal 官方工程博客AI 评分4747 Modal Labs 完成 1600 万美元 A 轮融资并正式发布平台
Modal Labs 宣布完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资，Amplify Partners、Lux Capital、Definition Capital 等参投，累计融资达 2300 万美元。
LlamaIndex：产品、工程与评测AI 评分4545 Timescale Vector x LlamaIndex：让 PostgreSQL 成为更好的 AI 应用向量数据库
Timescale Vector 集成 LlamaIndex，让开发者用 PostgreSQL 构建 AI 应用。其受 DiskANN 启发的新索引在 100 万条 OpenAI 嵌入向量上实现约 99% 召回率下比专用数据库快 3 倍，比现有 PostgreSQL 索引快 39.39% 至 1,590.33%，并支持 HNSW 与 IVFFlat。
LangChain：BlogAI 评分4747 Timescale Vector 与 LangChain 集成：让 PostgreSQL 成为更好的 AI 向量数据库
Timescale Vector 与 LangChain 集成，让开发者用 PostgreSQL 作为向量数据库构建 AI 应用。其受 DiskANN 启发的新索引在 100 万条 OpenAI 嵌入上实现约 99% 召回率下比 Weaviate 快 243%，并支持基于时间的向量过滤与 RAG 上下文检索。LangChain 用户可获 90 天免费试用。
LlamaIndex：产品、工程与评测AI 评分5656 LlamaIndex 0.7.0 发布：强化低层模块化以支持自底向上的 LLM 应用开发
LlamaIndex 发布 0.7.0，继续推进低层模块化，让用户可自底向上构建基于自己数据的 LLM 应用。
LlamaIndex：产品、工程与评测AI 评分4242 用 GraphQL 与图数据库丰富 LlamaIndex 模型
作者为 LlamaIndex 新增了图数据库和 GraphQL API 两个数据加载器，并演示如何用加载器把外部数据接入 LLM 查询。文中先用 SimpleCSVReader 加载 countries.csv 构建 GPTVectorStoreIndex，配合 gpt-3.5-turbo 完成跨语言问答并返回引用文档。
LlamaIndex：产品、工程与评测AI 评分5959 LlamaIndex 与 Ray 实战教程：构建并扩展可部署的查询引擎
LlamaIndex 与 Anyscale 联合发布教程，演示用 LlamaIndex + Ray 构建针对 Ray 文档和博客的查询引擎。
LlamaIndex：产品、工程与评测AI 评分4949 用 LlamaIndex 和 TruLens 构建与评测 LLM 应用
LlamaIndex 与 TruLens 团队合作，在 TruLens 最新版本中为 LlamaIndex 应用引入 tracing，只需几行代码即可自动评测应用输入输出、LLM 调用、检索到的上下文块、延迟等组件。开发者用 TruLlama 包装 query engine 并添加反馈函数，即可在 TruLens dashboard 中查看评测结果并定位检索块不相关导致的模型幻觉。
LlamaIndex：产品、工程与评测AI 评分4040 Vellum 与 LlamaIndex 集成：为 LLM 应用提供提示词工程与测试
Vellum 与 LlamaIndex 完成集成，LlamaIndex 用户可通过 VellumPredictor 自动注册提示词，并获得 Sandbox 迭代环境和带版本管理、请求监控的 Deployment。集成还支持用 Vellum Test Suites 批量上传 CSV 测试用例，在生产前跑 50–100 条用例做单元测试，并在生产中对历史输入做回归测试。
EleutherAI：Blog Safetensors 通过安全审计并将成为默认格式
Hugging Face 联合 EleutherAI 与 Stability AI 委托 Trail of Bits 对 Safetensors 库完成独立安全审计，结果证实该库安全可靠，具备成为默认格式的条件。三方组织宣布将推动 Safetensors 作为模型保存的默认格式。完整审计报告已公开发布，相关博客文章将进一步阐述该库的技术背景与后续实施计划。
EleutherAI：Blog Transformer 数学基础：计算与内存入门
系统阐述 Transformer 架构在计算负载与内存占用方面的基础数学原理，涵盖前向传播与反向传播过程中的浮点运算量（FLOPs）估算、模型参数量与显存需求的计算公式，以及注意力机制的复杂度分析。通过量化方法解析大语言模型训练与推理阶段的资源消耗规律，为模型设计与硬件选型提供理论依据。
Runway：News 与 AWS 合作扩展内部研究基础设施
Runway 宣布与 AWS 达成多年战略合作，AWS 成为其首选云提供商以扩展高性能计算集群。Runway 已将全部模型开发与训练迁至内部，加速新模型训练与产品部署。双方此前在 AWS 上合作完成了多模态视频生成模型 Gen-2 的训练，该模型支持通过文本、图像或视频片段生成新视频，代表了视频生成 AI 的重大进步。
OpenAI：官网动态AI 评分4747 OpenAI、Cohere 与 AI21 Labs 发布大语言模型部署最佳实践
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的大语言模型最佳实践，适用于任何开发或部署大语言模型的组织。
OpenAI：官网动态AI 评分4242 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展至 7,500 节点，为 GPT-3、CLIP、DALL·E 等大模型提供可扩展基础设施，同时支持小规模快速迭代研究。