大语言模型内存为何昂贵及如何优化

大语言模型处理长上下文时成本飙升，根源在于KV cache，它随token数和批处理规模线性增长。以Llama 3 70B为例，128,000 token上下文约需40GB GPU显存。优化手段包括分组查询注意力（GQA）等，在训练阶段压缩每个token的缓存占用。