文章介绍了如何利用 iTerm2 的 tmux control mode（控制模式）来优化 Answer.AI 旗下工具 ShellSage 的使用体验。通过配置 iTerm2 Profile 启动命令为 `tmux -CC`，用户可以在保留原生终端界面（如标签页、滚动条）的同时，后台运行 tmux 以提供 AI 上下文感知能力，从而避免学习复杂的 tmux 快捷键和界面操作。文中提供了本地及远程 SSH 连接的具体配置步骤。
SGLang v0.4版本正式发布，通过零开销批处理调度器将CPU调度与GPU计算重叠，吞吐量提升1.1倍，较其他基线快1.3倍。新版本引入缓存感知负载均衡器，预测KV缓存命中率，使吞吐量最高提升1.9倍，缓存命中率从20%提升至75%。针对DeepSeek模型的数据并行注意力机制带来1.9倍解码吞吐量提升，XGrammar结构化输出速度提升达10倍。
Prime Intellect 发布 INTELLECT-1，称其为首个全球协作训练的 10B 参数语言模型，基于 Llama-3 架构在 1T token 上训练 42 天，跨五国三洲最多同时使用 112 张 H100。
推荐理由：原文给出分布式训练的关键数字和 PRIME 框架细节，读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
Transluce 发布 Monitor，一个帮助用户观察、理解和引导语言模型内部计算的可观测性界面，入口为 monitor.transluce.org，并已在 GitHub 开源代码。
Prime Intellect 启动 INTELLECT-1，宣称是首个 10B 参数模型的全球分布式训练，基于 Llama-3 架构，数据混合为 55% Fineweb-edu、20% DLCM、20% Stack v2、5% OpenWebMath，共超 6 万亿 token，并开放算力贡献入口。
Liquid AI 发布第一代 Liquid Foundation Models（LFM），包含 1.3B、3.1B 和 40.3B MoE（激活参数 12B）三个语言模型，官方称在各规模上取得同级领先质量。
推荐理由：官方发布了三档模型的基准数据和内存表现，并说明非开源决定与边缘部署定位，读者可据此评估是否试用。
传统RAG系统在编码时易丢失上下文，导致检索失败。新方法“上下文检索”通过“上下文嵌入”和“上下文BM25”两项子技术，在检索前为文本块添加解释性上下文，能将检索失败次数减少49%，结合重排序后降幅可达67%，显著提升了下游任务性能。对于小于20万token的小型知识库，可直接将其完整内容放入提示词，结合Claude的提示词缓存功能，能降低超过2倍的延迟和高达90%的成本。对于大型知识库，上下文检索则提供了可扩展的解决方案。
推荐理由：Anthropic 把 RAG 检索失败率砍了 67%，方法不复杂但数据扎实，做知识库的开发者可以直接抄 cookbook 上手，是那种读完当天就能改进生产环境的实用帖。
Modal 在官方博客讲解如何为 Whisper large v3 添加动态批处理，只需在推理函数加 @modal.batched() 装饰器并改为列表输入输出。在 A10G 上以 max_batch_size 64 测试，吞吐从约 1.2 提升到约 3.3 请求/秒/容器，推理成本降低 65%。文章还解释了动态批处理相比固定批处理可避免请求稀疏时的无界延迟，并支持任意返回单响应的工作负载。
Runway 正式发布 Gen-3 Alpha Turbo API，开发者可将其视频生成能力集成至各类应用。目前采取分阶段开放策略，已向 Omnicom 等战略合作伙伴提供访问权限，现阶段主要面向大型团队和组织，未来几周将逐步扩大开放范围。
Modal 工程团队用 dlt 做数据加载、dbt 做转换、GitHub Actions 做 CI/CD，在 Modal 上跑完整分析栈，每天搬运数百万行数据成本不到 1 美元。其中一次任务在 47 秒内写入 1,375,896 行（约 20MB），按 Modal 计费约合每月 0.006 美元；同样每月 3000 万行的同步量在 Fivetran 上需 4,738 美元/月。
Modal 本月新增应用回滚功能，可在 dashboard 或 CLI 中将应用即时回滚到旧版本；@batched 装饰器支持动态批处理，在延迟与吞吐、GPU 利用率之间做权衡。Sandbox 现可将 TCP 端口转发到公网并 exec 内部进程，同时支持将日志导出到 OpenTelemetry，CPU 核与高端 GPU 价格下调。
LlamaIndex 官方发布 llama-deploy，用于以可扩展微服务的方式部署和扩展基于 llama-index 构建的智能体 Workflows，只需几行代码即可部署。
SGLang v0.3 正式发布，实现显著性能提升与新架构支持。针对 DeepSeek MLA 机制深度优化，采用权重吸收、FP8 量化等技术，在 H100 GPU 上吞吐量最高提升 7 倍。集成 torch.compile 使批量 1-32 场景延迟降低 1.5 倍。新增 LLaVA-OneVision 支持，可处理交错文本、多图像及视频输入，速度提升 4.5 倍。同时全面支持 Gemma-2 的 8K 上下文与交错窗口注意力，突破 4K 限制。
LlamaIndex 发布教程，演示如何用 Azure OpenAI 作为 AI 提供方、在 Microsoft Azure 上部署无服务器 RAG 应用。
LlamaIndex 发布 Python 版 0.11，引入事件驱动的 Workflows 架构，取代已弃用的 Query Pipelines，并新增 instrumentation 可观测性功能。
Modal 团队通过多次采样搜索，让 LLaMA 3.1 8B Instruct 在 HumanEval 上的 pass@k 从单次 66.4% 提升到 100 次生成的 90.5%（对比 GPT-4o pass@1 90.2%）和 1000 次的 95.1%。
LMSYS.org 推出 SGLang Runtime v0.2，一个纯 Python 开发的开源 LLM 推理引擎。在覆盖 Llama-8B 至 405B 的基准测试中，该系统在 A100 和 H100 GPU 上展现出优于 vLLM 最高 3.1 倍的离线吞吐量（Llama-70B 场景），并与 TensorRT-LLM 性能相当。SGLang 支持 FP8/FP16 精度，核心调度器仅约 4000 行代码，已在 Chatbot Arena 等平台累计生成数万亿 token。
Arize AI 与 LlamaIndex 联合发布 LlamaTrace，这是 Arize OSS Phoenix 的托管版本，用于 LLM 应用的追踪与可观测性。该平台支持即时记录 traces、持久化数据集、运行实验与评测，并可与同事共享结果，今日起可通过 LlamaIndex 或 Arize 账号访问。
Prime Intellect 宣布其全球 GPU 算力聚合与调度平台 Prime Intellect Compute 正式全面公开，目标是打造算力交易所，减少价格差异、提升市场效率。
RouteLLM 是一个基于偏好数据训练的开源 LLM 路由框架，通过智能分配查询至强模型（如 GPT-4）或弱模型（如 Mixtral 8x7B）来平衡成本与性能。该框架提供四种路由器，其中矩阵分解模型在 MT Bench 上表现最优，仅需调用 14% 的 GPT-4 即可达到其 95% 的性能，整体成本降低 75%。在 MMLU 和 GSM8K 基准测试中，RouteLLM 分别实现 45% 和 35% 的成本削减，同时保持 95% 的 GPT-4 水平。项目已开源全部代码与数据集。
LangChain 宣布 LangGraph v0.1 稳定版发布，并推出处于封闭 Beta 的 LangGraph Cloud，用于大规模、容错地部署智能体。
推荐理由：官方发布交代了 LangGraph v0.1 稳定版的控制设计与 Cloud 的容错部署能力，可帮助读者判断智能体上线时的基础设施选型。
Modal 在其 serverless 容器运行时中加入基于 syscall 的程序分析组件 seccheck，用于检测并禁用挖矿的 Modal Functions，随后封禁相关用户。
Sierra 基于其 Agent OS 提出面向 AI 智能体的 Agent Development Life Cycle，用声明式目标和确定性护栏解决 LLM 智能体的非确定性问题。
Modal 工程博客展示了如何用约 300 个 Heroicons SVG 图标微调 Stable Diffusion，生成 Heroicons 风格的黑白线条图标，例如 barack-obama、golden-retriever 等。
Modal 本月新增 AWS S3 和 Cloudflare R2 存储桶挂载功能，可将桶作为可写文件系统卷挂载到容器中。同时推出 @web_server 装饰器支持非 ASGI/WSGI 协议的 Web 服务器托管，并为企业管理版用户提供 Okta 单点登录。此外还上线了 Volume 文件系统查看器及多项客户端更新。
Langfuse 宣布与 LlamaIndex 集成，通过全局回调管理器实现一键式开源 RAG 可观测性。开发者安装 llama-index-callbacks-langfuse 并设置 set_global_handler("langfuse") 两行代码即可获得 RAG 应用的详细追踪，自动包含延迟与成本明细。
Modal 官方工程博客详解其 modal-http 服务，将 HTTP 和 WebSocket 请求翻译成 serverless 函数调用，并刚完成完整的 WebSocket 支持。
polySpectra 创始人 Raymond 撰文复盘为 3D 生成式 AI 工具 neThing.xyz 接入 RAG 的过程：通过 LlamaIndex 和 AstraDB 检索相关示例代码替代庞大的 system prompt。
Modal 现已支持 WebSocket 连接，开发者无需额外配置即可在 Modal 函数上搭建 WebSocket 服务器，每个连接被视为单个输入，非 CPU/GPU 密集型函数需开启并发输入，否则 Modal 会为每个连接启动新容器。
LlamaIndex 发布 LlamaParse 和 LlamaCloud，为 LLM 与 RAG 应用提供托管解析、摄取和检索服务。
推荐理由：官方发布新解析与托管数据管线服务，给出公共预览的用量限制、试用方式与存储伙伴集成，读者可据此评估是否引入现有 RAG 工作流。
Modal 宣布全部用户即日起可使用 NVIDIA H100 GPU。据 NVIDIA 数据，H100 相比 A100 在大模型上训练最高提速 4x、推理最高提速 30x；H100 配备 80 GB 显存，16 位精度算力接近 2000 teraFLOPS，单卡 $7.65/小时，最多可同时使用 8 卡并通过 NVLink 互联（3.6 TB/s 双向带宽）。
SGLang团队提出Jump-Forward Decoding算法，通过压缩有限状态机中的单一路径，将多token预填充合并为单步执行，突破传统方法逐token解码的限制。该技术兼容任意正则表达式与JSON/YAML schema，相比guidance+llama.cpp和outlines+vLLM等现有方案，延迟降低2倍，吞吐量提升2.5倍，使约束解码速度超越普通解码。
Tonic Validate 已原生集成进 LlamaIndex 核心库，可用于对 RAG 系统做集成测试与性能监控。教程演示了用 create-llama 搭建示例 RAG 应用（选用 gpt-4-1106-preview、FastAPI 模板），再通过 tonic-validate 编写测试，并结合 GitHub Actions 在 RAG 性能变化时发出告警。
Modal 官方工程博客展示了用 Hugging Face Text Embedding Inference 在 Modal 无服务器平台上为整个英文 Wikipedia 生成嵌入向量的方案，耗时不到 15 分钟，成本约 15 美元。
研究团队发布 SGLang 结构化生成语言及后端技术 RadixAttention，通过基数树数据结构自动管理并重用 KV 缓存，显著减少多轮生成调用中的冗余计算。在 NVIDIA A10G GPU 上运行 Llama-7B 和 Mixtral-8x7B 模型的测试显示，该系统吞吐量较 Guidance 和 vLLM 等现有系统提升最高达 5 倍。前端提供嵌入 Python 的领域特定语言，支持解释器与编译器双模式执行，有效提升复杂 LLM 程序的编程与执行效率。
LlamaIndex 推出 Query Pipelines，一个全新的声明式 API，可用更少代码将 LLM、提示词、检索器、查询引擎等模块编排成顺序链或任意复杂度的 DAG，覆盖 RAG、结构化数据抽取等场景。它支持链式写法和 add_modules/add_link 构建 DAG 两种用法，自带端到端回调与可观测性集成，未来计划支持序列化和缓存层。
教程演示如何结合 OpenLLM 与 LlamaIndex 构建基于自定义语料的智能查询响应系统。OpenLLM 负责部署开源 LLM，示例用 `openllm start meta-llama/Llama-2-7b-chat-hf --backend vllm` 启动 Llama 2 7B 本地服务。
LlamaIndex 作者将 25K 文档的索引构建时间从 10-20 分钟降到约 5 分钟，方法是部署 TEI 嵌入服务、RabbitMQ 队列和 EKS worker 集群。文章给出完整架构、CLI 命令和代码仓库 https://github.com/run-llama/llamaindex_aws_ingestion，测试数天花费约 $40CAD，并提醒用完后删除集群资源。
Mistral AI 开放 La Plateforme 平台 beta 访问，提供 mistral-tiny、mistral-small、mistral-medium 三个文本生成端点和 mistral-embed 嵌入端点。
推荐理由：官方公布三个文本端点和一个嵌入端点的性能与定价取舍，并附 MT-Bench 和 MTEB 分数，便于开发者按成本与质量选型。
Linear 在其所有工作空间中推出 Similar Issues 匹配功能，利用 LLM 生成向量嵌入并通过 PostgreSQL + pgvector 存储和搜索。该功能可在创建 Issue、Triage 收件箱及客户支持集成中自动提示可能重复或相关的已有 Issue，旨在减少重复劳动和积压管理负担。