跳到正文
Hugging Face 社区博客·· 2023-08-23AI 评分50

Hugging Face 介绍用 AutoGPTQ 与 transformers 给大语言模型减重

Making LLMs lighter with AutoGPTQ and transformers

AI 导读

Hugging Face 发布博客,介绍如何在 transformers 中集成 AutoGPTQ,用 GPTQ 量化让大语言模型更轻量。正文抓取失败,仅标题可用,细节以原文链接为准。

来源:Hugging Face 社区博客 · huggingface.co