OpenRouter 免费套餐更新：引入新模型维持可访问 AI 推理
OpenRouter 发布免费套餐更新，通过引入新模型来维持可持续的 AI 推理服务，旨在继续为广大用户提供可访问的 AI 能力。
推荐理由：OpenRouter 一年前把几个新模型塞进免费层，当时对白嫖开发者是利好，但现在点开只能闻到时间的灰尘。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
666 条精选近 30 天 48 条共收录 4,293 条
更新
精选归档 · 第 33 页
OpenRouter：Announcements精选AI 评分5555 Liquid AI 模型与工程博客精选AI 评分6666 Liquid AI 发布端侧基础模型 LFM2，含 0.35B/0.7B/1.2B 三个规格
Liquid AI 发布新一代基础模型 LFM2，主打端侧部署，在 CPU 上解码与 prefill 速度最高达 Qwen3 的 2 倍，训练效率较上一代提升 3 倍。
推荐理由：官方发布端侧模型系列，给出与 Qwen3 等同尺寸模型的速度和基准对比数据，适合关注本地部署选型的读者参考。
Modal 官方工程博客精选AI 评分6262 Modal 如何用 evals 和推理时算力扩展生成既美观又可扫的 QArt 二维码
Modal 团队复盘其 QArt codes 服务的工程过程，通过 evals 和推理时算力扩展将二维码扫描率提升到 95% 的 SLO，同时改善美观度并将 p95 端到端延迟控制在 20 秒内。
推荐理由：Modal 团队复盘 QArt codes 从不可扫到 95% 扫描率的工程路径，evals 构建与推理时并行扩展的方法可迁移到其他生成模型应用。
Prime Intellect精选AI 评分6161 Prime Intellect 发布 SYNTHETIC-2 开源推理数据集与行星尺度流水线并行推理运行
Prime Intellect 发布 SYNTHETIC-2，一个开源推理数据集，基于 DeepSeek-R1-0528 生成经过验证的推理轨迹，并启动行星尺度的流水线并行分布式推理运行。
推荐理由：原文给出流水线并行推理与 TOPLOC v2 验证机制的细节，开源社区可据此了解如何用消费级 GPU 参与大规模推理贡献。
Hugging Face 社区博客精选AI 评分6161 Hugging Face 5 分钟上手 Kernel Hub：从 Hub 直接加载预编译优化内核
Hugging Face 发布 Kernel Hub 入门教程，介绍通过 kernels 库的 get_kernel 直接从 Hub 加载预编译优化内核，无需本地编译 Triton 或 CUTLASS，例如一行代码启用 FlashAttention，库会自动匹配 Python、PyTorch 和 CUDA 版本下载对应二进制。
推荐理由：官方教程给出 Kernel Hub 的用法和 RMSNorm 实测加速数据，读者可以据此评估是否用它省去本地编译内核的成本。
Modal 官方工程博客精选AI 评分6262 Modal 上线 B200 和 H200 GPU
Modal 宣布 B200 和 H200 GPU 开放给所有账户使用，无需联系销售，B200 定价 $6.25/hour，H200 定价 $4.54/hour，一行代码即可在 Function 中指定。
推荐理由：原文给出 B200 与 H200 的价格、规格对比和实测延迟数据，读者可据此评估迁移到新 GPU 的收益。
OpenRouter：Announcements精选AI 评分5656 OpenRouter 推出推理流摘要、加密货币发票等多项新功能
OpenRouter 上线了推理流摘要（Reasoning Streams）功能，支持流式推理过程摘要，同时新增加密货币发票支付、最终用户 ID（End-User IDs）、速率限制保护以及密钥锁定等特性。
推荐理由：如果你在用 OpenRouter 做应用，这几个更新挺实用，推理流输出让代理开发更可控，加密支付和端用户 ID 也降低了商业化门槛。
Hugging Face 社区博客精选AI 评分6060 Hugging Face Diffusers 量化后端对比：Flux-dev 内存与速度实测
Hugging Face 发布 Diffusers 量化后端指南，对比 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 在 FLUX.1-dev 上把 BF16 加载内存约 31.447 GB 压缩到约 10.6 至 23.7 GB 的表现。
推荐理由：原文实测了 Diffusers 各量化后端在 Flux 上的内存和推理速度数据，读者可以按需求选后端并直接复用配置代码。
LangChain：Blog精选AI 评分6565 LangChain 发布 LangGraph Platform 正式版，面向长时运行有状态智能体的部署与管理
LangChain 宣布 LangGraph Platform 正式发布（GA），这是用于部署和扩展长时运行、有状态智能体的基础设施与管理层，自去年 6 月 beta 以来已有近 400 家公司用于生产环境。
推荐理由：官方宣布 LangGraph Platform 正式可用，围绕长时运行、有状态智能体的部署痛点给出了具体能力与多种部署选项。
LangChain：Blog精选AI 评分6060 LangChain 官方教程：AI Agent 提速的实用方法
LangChain 博客介绍开发者加速 AI Agent 的常见做法：先用 LangSmith 诊断延迟来源，再通过流式输出和后台运行降低用户感知延迟。其他要点包括减少 LLM 调用次数（如用 LangGraph 精确控制智能体通信）、换更快模型、削减输入上下文以及并行执行 LLM 调用。
推荐理由：原文把 Agent 提速拆成诊断瓶颈、减少与并行 LLM 调用、优化感知延迟等具体路径，方法可直接迁移到自己的项目。
DeepSeek@deepseek_ai精选推荐理由：DeepSeek 推出硬件对齐稀疏注意力 NSA，长上下文训练推理双提速，预训练成本显著降低
LangChain：Blog精选AI 评分6060 LangSmith 推出 Pytest 和 Vitest/Jest 评测集成（beta）
LangChain 发布 LangSmith 的 Pytest 与 Vitest/Jest 集成，随 Python 和 TypeScript SDK v0.3.0 以 beta 提供，让开发者沿用现有测试框架运行 LLM 评测并记录到 LangSmith。
推荐理由：原文介绍了将 LLM 评测接入 Pytest/Vitest 的具体用法和与 evaluate() 的差异，开发者可直接对照迁移现有测试流程。
Prime Intellect精选AI 评分6767 Prime Intellect 发布 INTELLECT-1：首个全球分布式训练的 10B 参数模型
Prime Intellect 发布 INTELLECT-1，称其为首个全球协作训练的 10B 参数语言模型，基于 Llama-3 架构在 1T token 上训练 42 天，跨五国三洲最多同时使用 112 张 H100。
推荐理由：原文给出分布式训练的关键数字和 PRIME 框架细节，读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
Liquid AI 模型与工程博客精选AI 评分6464 Liquid AI 发布首批 Liquid Foundation Models：LFM-1B/3B/40B
Liquid AI 发布第一代 Liquid Foundation Models（LFM），包含 1.3B、3.1B 和 40.3B MoE（激活参数 12B）三个语言模型，官方称在各规模上取得同级领先质量。
推荐理由：官方发布了三档模型的基准数据和内存表现，并说明非开源决定与边缘部署定位，读者可据此评估是否试用。
Anthropic：Engineering精选AI 评分7272 引入上下文检索：大幅提升RAG系统准确性的新方法
传统RAG系统在编码时易丢失上下文，导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术，在检索前为文本块添加解释性上下文，能将检索失败次数减少49%，结合重排序后降幅可达67%，显著提升了下游任务性能。对于小于20万token的小型知识库，可直接将其完整内容放入提示词，结合Claude的提示词缓存功能，能降低超过2倍的延迟和高达90%的成本。对于大型知识库，上下文检索则提供了可扩展的解决方案。
推荐理由：Anthropic 把 RAG 检索失败率砍了 67%，方法不复杂但数据扎实，做知识库的开发者可以直接抄 cookbook 上手，是那种读完当天就能改进生产环境的实用帖。
LangChain：Blog精选AI 评分6666 LangChain 发布 LangGraph v0.1 稳定版与 LangGraph Cloud Beta
LangChain 宣布 LangGraph v0.1 稳定版发布，并推出处于封闭 Beta 的 LangGraph Cloud，用于大规模、容错地部署智能体。
推荐理由：官方发布交代了 LangGraph v0.1 稳定版的控制设计与 Cloud 的容错部署能力，可帮助读者判断智能体上线时的基础设施选型。
Eugene Yan：Writing精选AI 评分8282 Applied LLMs：一年 LLM 应用开发的经验总结
Eugene Yan 等六位作者发布长文 Applied LLMs，总结一年 LLM 应用开发经验，分战术、运营、战略三部分。战术层面涵盖 n-shot 与 CoT 提示词技巧、RAG 文档相关性、结构化输出工具 Instructor 和 Outlines、LLM-as-Judge 评测及幻觉防护；战略层面提出 PMF 之前不买 GPU、先提示词后微调、系统比模型更构成护城河等观点。
推荐理由：多位从业者基于一年真实开发经验总结提示词、RAG、评测到团队与战略的实践清单，读者可对照自己的 LLM 项目逐条借鉴。
LlamaIndex：产品、工程与评测精选AI 评分6464 LlamaIndex 发布 LlamaParse 与 LlamaCloud 托管解析及数据管线服务
LlamaIndex 发布 LlamaParse 和 LlamaCloud，为 LLM 与 RAG 应用提供托管解析、摄取和检索服务。
推荐理由：官方发布新解析与托管数据管线服务，给出公共预览的用量限制、试用方式与存储伙伴集成，读者可据此评估是否引入现有 RAG 工作流。
Mistral AI：News精选AI 评分7575 Mistral AI 开放 La Plateforme 平台测试，提供三个生成端点和嵌入端点
Mistral AI 开放 La Plateforme 平台 beta 访问，提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 mistral-embed 嵌入端点。
推荐理由：官方公布三个文本端点和一个嵌入端点的性能与定价取舍，并附 MT-Bench 和 MTEB 分数，便于开发者按成本与质量选型。
LlamaIndex：产品、工程与评测精选AI 评分6161 LlamaIndex 发布 create-llama 命令行工具，一键生成全栈 LlamaIndex 应用
LlamaIndex 推出 create-llama 命令行工具，通过 npx create-llama 即可交互式生成一个可与自己数据对话的全栈应用。
推荐理由：原文给出了脚手架工具的技术选项和数据接入方式，开发者可以据此快速判断是否用它搭建 LlamaIndex 应用。