LlamaIndex 结合 Transformers Agents 打造 Text2Image 提示词助手工具
LlamaIndex 团队为 Transformers Agents 实现了一个 Text2Image Prompt Assistant 工具,通过索引 10K 条 DiffusionDB 提示词,让 LLM 参考示例改写提示词后再生成图像。
LlamaIndex 团队为 Transformers Agents 实现了一个 Text2Image Prompt Assistant 工具,通过索引 10K 条 DiffusionDB 提示词,让 LLM 参考示例改写提示词后再生成图像。
Hugging Face 官方博客介绍通过 DuckDB 分析 Hugging Face Hub 上 50,000 多个数据集。正文抓取失败,仅有标题可用。
Hugging Face 发布博文宣布 Falcon 模型已进入 Hugging Face 生态。原文正文抓取失败,仅标题可用,更多细节无法确认。
Hugging Face 发布博客,主题是通过 bitsandbytes、4-bit 量化和 QLoRA 让 LLM 更易获取和使用。正文抓取失败,仅有标题可用,更多细节需参考原文 https://huggingface.co/blog/4bit-transformers-bitsandbytes。
Hugging Face 联合 EleutherAI 与 Stability AI 委托 Trail of Bits 对 Safetensors 库完成独立安全审计,结果证实该库安全可靠,具备成为默认格式的条件。三方组织宣布将推动 Safetensors 作为模型保存的默认格式。完整审计报告已公开发布,相关博客文章将进一步阐述该库的技术背景与后续实施计划。
Hugging Face 发布教程,介绍如何将 Unity 游戏托管到 Hugging Face Space。用户需创建 Static HTML 模板的 Space,将 Unity 项目构建目标切换为 WebGL、把压缩格式设为 Disabled,再将构建文件推送到仓库即可运行游戏。
Hugging Face 发布 StackLLaMA 教程,手把手讲解如何用 RLHF 方法训练 LLaMA 模型,覆盖完整训练流程。
推荐理由:这是一份手把手教程,讲解如何用 RLHF 训练 LLaMA,读者可跟随步骤复现完整训练流程。
Hugging Face 发布博客,讲解如何在 24GB 消费级 GPU 上用 RLHF 微调 20B 参数大语言模型,文中涉及 TRL 与 PEFT(见原文链接 https://huggingface.co/blog/trl-peft)。正文抓取失败,仅标题可用,更多细节以原文为准。
Hugging Face 发布博客,介绍 ControlNet 在 Diffusers 库中的支持。
Hugging Face 发布博客文章,介绍 Swift 🧨Diffusers,用于在 Mac 上更快速地运行 Stable Diffusion。正文抓取失败,仅标题可用,更多细节见原文链接 https://huggingface.co/blog/fast-mac-diffusers。
Hugging Face 发布博客,介绍如何使用其 PEFT 库进行参数高效微调(Parameter-Efficient Fine-Tuning)。本次抓取失败,仅标题可用,正文细节暂缺。
Hugging Face 发布教程,演示如何用 Transformers 和 Datasets 库构建图像相似度系统,实现反向图像搜索等检索场景。方案以 ViT 模型 nateraw/vit-base-beans 提取图像嵌入向量,再用余弦相似度匹配查询图与候选图,示例使用 Beans 数据集,也可替换为 Swin Transformer、ConvNeXT、RegNet 等视觉模型。
Hugging Face 系列教程第二部分展示如何用 ChatGPT 辅助游戏设计:作者以"专业游戏设计师"提示词让其给出农场游戏的核心玩法建议,得到作物多样性、进阶系统、动态环境、社交多人、沉浸式剧情等要点,并因 5 天工期只灰盒实现了前两项。文中同时解释语言模型与 Transformer 原理,并提醒 ChatGPT 常"言之凿凿却出错",宜作头脑风暴工具而非开发步骤的替代品。
Hugging Face 发布图机器学习入门博客,梳理图的基本概念、表示方法及学习范式,涵盖从预神经网络方法到图神经网络(GNN),并延伸至用于图的 Transformer。文章还介绍了图在社交网络、分子、知识图谱等场景的应用,以及图级、节点级、边级和子图级四类任务,并区分了直推式与归纳式两种设定。
Hugging Face 发布教程,介绍如何在 AWS EC2 R7iz 裸金属实例上用 4 节点 Sapphire Rapids CPU 集群分布式微调 DistilBERT,使用 Intel oneCCL 和 IPEX 库,无需修改 transformers 代码。
Hugging Face 发布系列教程第一篇,讲解如何用 Stable Diffusion 为 Unity 农场游戏确定美术风格。文章涵盖用 Automatic1111 WebUI 本地部署或在线运行的方法、借助 lexica.art 优化提示词的技巧,以及用概念图指导 Unity 场景搭建、材质、灯光和后期处理的完整流程。
推荐理由:系列第一篇给出用 Stable Diffusion 生成美术概念图并落地到 Unity 场景的完整步骤,方法可直接迁移到游戏开发流程。
Hugging Face 发布教程,讲解如何用 🤗 transformers 运行 CLIPSeg 实现零样本图像分割。
推荐理由:教程结合示例代码讲解 CLIPSeg 的文本与图像提示用法,还给出粗标注后在 Segments.ai 精修的可迁移流程。
Hugging Face 推出 Model Card Creator Tool 和 Model Card Guide Book,前者提供图形界面,无需编程或 Markdown 即可创建模型卡。同时发布更新版模型卡模板(集成于 huggingface_hub 库)和带注释的模板,并附上平台内用户研究与 ML 文档现状的文献综述。
Hugging Face 伦理与社会团队发布第二期通讯,讨论机器学习偏见的普遍性与复杂性,认为单一技术手段难以有效解决该问题。文章梳理了偏见在任务定义、数据集整理和模型训练各阶段的应对方式,并介绍了团队开发的偏见分析工具。
Hugging Face 发布音频数据集完整指南,演示用 🤗 Datasets 库一行代码加载 GigaSpeech 等数据集并用 13 行代码完成重采样、预处理和过滤。指南还介绍了流式模式可绕过磁盘空间限制(GigaSpeech xl 配置需超 1TB 存储),并汇总了 Hub 上热门的语音识别、语音翻译和音频分类数据集。
Hugging Face 发布 Habana Gaudi2 加速训练与推理的教程和基准测试,训练与推理速度约为 Nvidia A100 80GB 的两倍。Gaudi2 单机含 8 个设备、每设备 96GB 显存,通过 🤗 Optimum Habana 使用,现有第一代 Gaudi 工作流无需改动即可迁移。
Hugging Face 发布长文图解 RLHF,将其拆为预训练语言模型、训练奖励模型、用 PPO 强化学习微调三个核心步骤,并解释 KL 惩罚如何防止策略偏离初始模型产生胡言乱语。文章还盘点 TRL、TRLX、RL4LMs 等开源工具,指出人类偏好数据成本高、标注不一致以及 PPO 之外优化器等仍待探索的方向。
推荐理由:原文系统拆解 RLHF 三阶段流程与 KL 惩罚等细节,并盘点开源工具与局限,适合作为理解该技术的入门框架。
Elixir 社区宣布 Bumblebee 库上线,以纯 Elixir 实现 Hugging Face Transformers,带来从 GPT2 到 Stable Diffusion 的多个神经网络模型。
Hugging Face 发布长文教程,面向生物学家与机器学习从业者讲解如何把 NLP 的迁移学习方法应用到蛋白质建模。
Hugging Face 与 Apple 合作,将 Stable Diffusion v1.4、v1.5、v2 base、v2.1 base 转换为 Core ML 版本并发布在 Hugging Face Hub,可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。
推荐理由:Hugging Face 官方整理了 Core ML 版 Stable Diffusion 的下载、Python 与 Swift 推理方法,读者可按机型选变体并迁移到自定义模型。
Hugging Face 发布教程,讲解如何用其 Transformers 库的 Time Series Transformer 从零训练单变量概率时间序列预测模型,涵盖 GluonTS 数据转换、DataLoader 构建、40 个 epoch 的训练及 generate() 自回归推理。
推荐理由:教程展示了完整的代码训练流程,并在 Monash 基准上给出可对照的 MASE 结果,便于读者迁移到自己的时间序列数据。
中国科学技术大学与微软提出的 VQ-Diffusion 是一种在量化隐空间上做加噪与去噪的条件扩散模型,其隐空间由离散向量集合构成。
Hugging Face 与 Jonathan Whitaker 合作推出的免费 Diffusion Models Class 课程将于 11 月 28 日上线,内容涵盖扩散模型的理论与应用。
Hugging Face 梳理了其推理方案:模型页上的免费 Inference Widget 和免费 Inference API 可直接加载 Hub 模型做预测,后者因限流不建议用于生产。
Hugging Face 发布 Document AI 指南,梳理 OCR、文档图像分类、版面分析、文档解析、表格识别和 DocVQA 六大用例及对应开源模型与指标。
推荐理由:原文系统梳理了 Document AI 六类用例及对应开源模型、指标与许可证,团队可直接按图索骥选型并自建方案。
Hugging Face 与 arXiv 合作,通过 arXivLabs 在论文摘要页新增 Demos 标签,链接到社区或作者创建的开源 demo。用户可在 BERT 等论文页面直接找到 200 多个社区 demo,无需写代码即可在浏览器中试用。
Hugging Face 发布教程,演示如何用 Concrete-ML 在全同态加密(FHE)下对加密文本做情感分析:先提取 transformer 隐藏表示,再用 XGBoost 训练分类器并编译为 FHE 模型。
Hugging Face 宣布 Contrastive Search 解码方法已在 transformers 4.24.0 中可用,支持 PyTorch 和 TensorFlow。
Hugging Face 更新定价体系,宣布逐步停止 Inference API 付费层,该 API 仍免费开放,企业级推理需求转向新推出的 Inference Endpoints。Spaces 新增硬件升级选项,使用这些服务无需订阅,只需在账单设置中绑定信用卡,所有付费服务用量在每月月初计费并提供合并账单。
Hugging Face 发布教程,基于多组实验总结用 Dreambooth 微调 Stable Diffusion 的推荐设置,并提示 🧨 Diffusers 提供官方训练脚本。
推荐理由:原文基于多组实验给出 Dreambooth 微调 Stable Diffusion 的超参数建议,可帮助读者降低过拟合并提升生成质量。
Hugging Face 发布使用 🤗 Transformers 对 Whisper 进行多语言语音识别(ASR)微调的分步教程。
推荐理由:完整给出从数据准备到训练和 Gradio 演示的代码流程,仅用 8 小时印地语数据把 WER 从 63.5% 降到 32%,方法可直接迁移到其他语言。
Hugging Face 将 Intel OpenVINO 集成进 Optimum Intel,用户可在多种 Intel 处理器上用 OpenVINO Runtime 对 Transformers 模型执行推理,模型可托管于 Hugging Face hub 或本地。
Hugging Face 为 🤗 Evaluate 库新增偏见度量与测量功能,用于评估 GPT-2、BLOOM 等因果语言模型的偏见。工作流分两步:用 🤗 Datasets 上的预定义提示词引导模型生成文本,再用 🤗 Evaluate 的指标评估生成结果,示例覆盖毒性、语言极性和伤害性三类任务。
Hugging Face 发布教程,以 MNIST 训练示例讲解三种抽象层级的分布式数据并行训练:PyTorch 原生 torch.distributed 与 DDP、Accelerate 的轻量封装、Transformers 的 Trainer API。
推荐理由:教程用同一个 MNIST 示例逐级展示三种分布式训练写法,读者可以按抽象层级选择适合自己项目的方案。
Hugging Face 发布 MTEB(Massive Text Embedding Benchmark),用于衡量文本嵌入模型在多类任务上的表现,排行榜已汇总超过 2000 条结果。
推荐理由:原文给出 56 个数据集、8 类任务、112 种语言的嵌入模型评测结果和模型选择分组,可用于按任务挑合适的嵌入模型。