Hugging Face 发布 Inference Endpoints,一键将 Hub 模型部署到托管云基础设施
Hugging Face 发布 Inference Endpoints 服务,可将 Hub 上的模型几步内部署到托管云基础设施。
Hugging Face 发布 Inference Endpoints 服务,可将 Hub 上的模型几步内部署到托管云基础设施。
Hugging Face Diffusers 自 0.5.1 版本起支持 Flax,官方博客教程演示如何用 JAX/Flax 在 Google TPU 上运行 Stable Diffusion 推理。
推荐理由:Hugging Face 官方教程,演示在 TPU 上用 JAX/Flax 跑 Stable Diffusion,8 卡并行约 7 秒生成 8 张图,可直接复现。
Hugging Face 发布博客复盘 BLOOM(176B 参数、bf16 下 352GB)推理服务的优化过程,数周内实现延迟降低 5 倍、吞吐提升 50 倍。
Hugging Face 宣布用户可直接在 Hub 上为模型或数据集生成 DOI(数字对象标识符)。该功能与 DataCite 合作实现,在仓库设置中即可申请,他人可通过模型或数据集页面的 Cite 按钮引用;DOI 绑定元数据且提供永久链接,版本更新后 DOI 可同步更新,带 DOI 的对象将长期保留,删除需向支持团队提交请求。
rinna 基于 Stable Diffusion 微调出日语专用文生图模型 Japanese Stable Diffusion,可理解日语固有词汇、拟声词与专有名词并生成日式风格图像。
Hugging Face 宣布 Evaluation on the Hub 支持对 Hub 上任意 causal language model 做零样本评测,由 AutoTrain 驱动、无需写代码且免费。
Hugging Face 宣布 AutoTrain 新增图像分类任务,用户无需写代码或配置即可训练图像分类模型。流程为在 AutoTrain 创建项目、上传或选择 Hub 数据集、设定候选模型数量后开始训练;用 5 个候选模型训练少于 500 张图片免费。
Hugging Face 发布博客讲解 Accelerate 如何加载和运行超出单机内存的超大模型。核心做法是用 PyTorch meta device 创建空模型、用 infer_auto_device_map 自动计算 GPU、CPU 与磁盘的设备分配,并按分片加载权重,通过 hooks 在每次前向传播前后搬运权重。
推荐理由:原文逐层拆解 Accelerate 借助 PyTorch meta device 与分片加载运行超大模型的机制,并给出可在免费 Colab 复现的做法。
Hugging Face 与 Intel Labs、UKP Lab 发布少样本学习框架 SetFit,无需提示词即可微调 Sentence Transformer 做文本分类。
推荐理由:原文给出 SetFit 在少样本文本分类上的具体对比数字和训练成本,读者可以据此评估小样本场景下是否用它替代大模型微调。
Hugging Face 发布教程,展示如何用 DeepSpeed 和 Accelerate 高速运行 176B 参数的 BLOOM 模型推理。
Hugging Face 发布 diffusers 0.3,为扩散模型库新增图生图、Textual Inversion、实验性 inpainting、ONNX 导出和 macOS M1/M2 推理支持等功能。优化后 Stable Diffusion 显存占用降至 3.2GB,代价是约 10% 的速度损失;社区还贡献了视频生成、可解释性工具和日语、动漫方向的微调模型。
推荐理由:原文梳理了 diffusers 0.3 的图生图、Textual Inversion、低显存优化等新功能,开源图像工作流的使用者可以对照更新自己的用法。
Hugging Face 发布教程,教读者从零训练一个离线 Decision Transformer 模型,让 MuJoCo HalfCheetah 环境中的半猎豹跑起来。
Hugging Face 博客发布教程,讲解如何在 NVIDIA GPU 上用 Megatron-LM 预训练 GPT2 模型,并以 110M 参数的 CodeParrot 为例给出环境搭建、数据预处理、8 卡训练(约 12 小时)到权重转换为 transformers 格式的完整流程。
Hugging Face 员工 Carlos Muñoz Ferrandis 撰文介绍 OpenRAIL(开放且负责任的 AI 许可证)框架,主张其为 ML 领域设计专属许可机制。
Hugging Face 发布教程,介绍如何用 3Dmol.js 和 Gradio 的 HTML block 在 Hugging Face Spaces 中可视化蛋白质结构。该方案通过 iframe 嵌入 3Dmol.js,支持输入 4 位 PDB 代码或上传 PDB 文件,从 RCSB 获取结构并渲染。文中还提到可用 Molecule3D Gradio 自定义组件简化这一流程。
Hugging Face 发布教程,讲解如何用 🧨 Diffusers 库运行 CompVis、Stability AI 和 LAION 推出的文生图模型 Stable Diffusion v1-4。
推荐理由:来自 Diffusers 团队的第一手教程,同时讲清 latent diffusion 三大组件原理,代码示例可直接复用于文生图管线。
Hugging Face 发布教程,讲解如何在 AWS DL1 实例上用 Habana Gaudi 从零预训练 BERT-base,使用 Transformers、Optimum Habana 和 Datasets 库,通过 masked-language modeling 完成训练。
Hugging Face 发布教程,讲解如何将 🤗 Transformers 的 ViT B/16 TensorFlow 模型部署到 Google Cloud Vertex AI,相比 Kubernetes 部署可用更少代码达到同等扩展性。
Hugging Face 与 bitsandbytes 合作,将 LLM.int8() 8 位矩阵乘法完整集成到 transformers 和 accelerate 库,使 BLOOM-176B 等大模型推理显存占用减半且无性能下降。
推荐理由:文章由集成团队亲自讲解 LLM.int8() 的原理、异常值处理和 transformers 集成细节,并附基准数据与代码示例。
Hugging Face 阐述了其 transformers 库在 TensorFlow 上的设计理念:所有 TensorFlow 模型都是 Keras Model 对象,所有层都是 Keras Layer 对象,用户可直接调用 fit()、compile() 和 predict()。库通过 TFAutoModel 等类一行代码加载预训练模型,并配合 AutoTokenizer 完成匹配的预处理。
Hugging Face 发布开源库 Skops,可将 scikit-learn 模型托管到 Hugging Face Hub 并生成模型卡。
Hugging Face 发布教程,讲解如何用 TensorFlow Serving 将 Transformers 的 Vision Transformer 模型从本地部署扩展到 Kubernetes 集群。
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization(PPO),核心是通过比率裁剪将策略更新限制在 [1−ϵ,1+ϵ] 区间以提升训练稳定性,论文中 ϵ=0.2。
Hugging Face 推出 Private Hub(PH),为机器学习全生命周期提供统一工具,让团队以安全合规的方式协作开发与部署模型。PH 以拥有 60K+ 模型、6K 数据集和 6K 演示应用的 Hugging Face Hub 为核心,支持基于 Git 的模型、数据集与 Spaces 版本管理,以及组织账号和权限控制。
Hugging Face 博客介绍了 Nyströmformer,一种用 Nyström 方法近似标准自注意力的高效 Transformer,将时间和内存复杂度从 O(n²) 降至 O(n)。
Hugging Face 为 🤗 Datasets 补充了音频和图像数据集的文档,Quickstart 新增端到端加载与处理示例,并引入 to_tf_dataset 函数,可将数据集转换为 tf.data.Dataset 供 TensorFlow 或 Keras 训练。
Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成现可通过 XLA 编译加速,某些场景提速超过 100 倍,在多数基准中比 PyTorch 更快,最高快达 9 倍。
推荐理由:Hugging Face 官方讲解如何用 jit_compile=True 加速 TensorFlow 文本生成,给出编译缓存机制、padding 技巧和实测数据,方法可直接复用。
Hugging Face 团队发布教程,演示如何用 TensorFlow Serving(TF Serving)在本地部署 Transformers 中的 Vision Transformer(ViT)图像分类模型,使模型可通过 REST 或 gRPC 端点调用。
Hugging Face 发布长文详解 176B 参数模型 BLOOM 的训练技术,训练在 Jean Zay 超算上使用 384 张 NVIDIA A100 80GB GPU,耗时约 3.5 个月、约 100 万计算小时。
作者用 Sentence Transformers 的语义搜索功能构建了一个歌单生成器,将歌词按段落切分并嵌入,再根据文本提示检索最相关的歌曲,并用 Gradio Blocks API 搭建多步交互演示,部署在 Hugging Face Spaces 上。
Hugging Face 与 BigScience 发布 1760 亿参数的开源多语言大模型 BLOOM,支持 46 种自然语言和 13 种编程语言。模型由 70 多个国家、250 多个机构的 1000 多名研究者历时一年协作完成,在法国 Jean Zay 超算上训练 117 天,算力来自 CNRS 和 GENCI 价值约 300 万欧元的资助。
推荐理由:原文来自 BLOOM 团队官方发布,给出了参数规模、语言覆盖、训练成本和开放使用方式,读者可以了解这个开放大模型的实际边界。
Hugging Face 发布入门教程,讲解如何用 Inference API 对 Twitter 推文做情感分析,分 coder 与非 coder 两条路径。
推荐理由:教程同时给出代码和无代码两条路径,用 Tweepy 加 Inference API 分析 Notion 相关推文,方法可直接复用到其他品牌。
Hugging Face 深度强化学习免费课程第 5 单元讲解 Policy-Gradient 方法,是课程首个 Policy-Based 方法。
Hugging Face 发布入门指南,以 Sentence Transformers(ST)为例讲解如何从零启动第一个机器学习项目。ST 可将句子、段落和图像转为嵌入向量,并通过 util.cos_sim 计算余弦相似度,支持语义搜索、聚类和模型蒸馏等任务。该库在 GitHub 已获近 8,000 stars,超过 3,000 个项目和包依赖它。
Hugging Face 发布博客教程,介绍如何用 Accelerate 库利用 DeepSpeed 的 ZeRO 特性训练大模型,多数场景无需改动代码。
Hugging Face 推出 Evaluation on the Hub,一个由 AutoTrain 驱动的新工具,无需写代码即可在 Hub 上用任意数据集和指标评估任意模型。
Hugging Face 发布嵌入入门教程,讲解嵌入如何以数值向量表示文本、图像等信息的语义,并用 Sentence Transformers 的 sentence-transformers/all-MiniLM-L6-v2 模型(输出 384 维向量)对 13 条美国 Medicare FAQ 生成嵌入。
教程以 distilbert-base-uncased-finetuned-sst-2-english 文本分类模型为例,介绍三种将 Hugging Face Transformers 模型转换为 ONNX 的方法。
Intel 正式加入 Hugging Face 硬件合作伙伴计划,双方基于 Optimum 开源库合作构建针对 Intel 平台的 Transformer 训练、微调和推理加速工具。
Hugging Face 发布教程,基于 Ho et al. 2020 的 DDPM 论文和 Phil Wang 的实现,用 PyTorch 逐步拆解并实现去噪扩散概率模型。
推荐理由:原文从数学推导到完整 PyTorch 代码逐段拆解 DDPM,读者可以照此动手实现一个可训练的扩散模型。