技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
666 条精选近 30 天 48 条共收录 4,293 条
LlamaIndex 发布教程，介绍 LayoutPDFReader 如何结合层级布局信息解析 PDF，实现章节识别、段落合并、表格与列表处理等内容感知分块。文章给出接入 llmsherpa API 和构建 LlamaIndex 向量查询引擎的示例代码，并说明该工具仅支持带文本层的 PDF，暂不支持 OCR。
推荐理由：文章解释了 PDF 解析难点并给出 LayoutPDFReader 的层级解析与智能分块方法，含可直接复用的代码。
云函数平台 Modal 正式全面开放，任何人可注册并在几分钟内于云端运行代码，同时宣布完成由 Redpoint Ventures 领投的 1600 万美元 A 轮融资。
推荐理由：官方宣布开放注册并公布融资，文中列出 GPU 型号、计费方式和 Ramp、Substack、Suno 等生产用户，可了解其定位与用法。
Hugging Face 发布教程，以 MNIST 训练示例讲解三种抽象层级的分布式数据并行训练：PyTorch 原生 torch.distributed 与 DDP、Accelerate 的轻量封装、Transformers 的 Trainer API。
推荐理由：教程用同一个 MNIST 示例逐级展示三种分布式训练写法，读者可以按抽象层级选择适合自己项目的方案。
Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配，并按分片加载权重，通过 hooks 在每次前向传播前后搬运权重。
推荐理由：原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制，并给出可在免费 Colab 复现的做法。
Hugging Face 与 bitsandbytes 合作，将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库，使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。
推荐理由：文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节，并附基准数据与代码示例。
Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成现可通过 XLA 编译加速，某些场景提速超过 100 倍，在多数基准中比 PyTorch 更快，最高快达 9 倍。
推荐理由：Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成，给出编译缓存机制、padding 技巧和实测数据，方法可直接复用。