Model Size Gpu Storage Consumption

less than 1 minute read

Published:

LLM训练推理时GPU显存耗用量估计

推理时耗用量

目前模型的参数绝大多数都是float32类型，占用32位（bit）4个字节（Byte）。所以在全精度时一个参数就是4字节，1B个参数（就是\(1\times10^9\)个参数）共\(4\times1\times10^9B=4GB\)个字节，也就是需要消耗4GB显存。16精度的时候一个参数是16位2字节，显存消耗比全精度少一半，也就是1B个参数需要显存2GB。8精度的时候一个参数是8位1字节，再少一半，1B参数只需要1GB显存。最后4精度的时候一个参数4位0.5字节，1B参数只需要500MB即0.5GB显存。

以llama2为例。

Model Sizefull size1684
llama2 7B28GB14GB7GB3.5GB
llama2 13B52GB26GB13GB6.5GB
llama2 70B280GB140GB70GB35GB

当然以上只是向GPU加载模型使用的显存消耗，实际推理时还需要保存输入输出数据等，这也会消耗一部分显存，所以应当再额外空出一些显存。

训练时耗用量

训练时GPU需要保存模型，优化器状态，前向激活值和临时缓存。

  • 模型这里包括模型参数和梯度，均与参数规模一致
  • 前向激活值这里包括前向函数中保留的用于反向计算梯度的值，与batch size有关
  • 优化器状态这里包括动量，优化器权重等，控制器权重4Bytes，adam m 4Bytes，v 4Bytes
  • 临时缓存包括临时缓冲区和显存碎片

开启zero3且不offload时，全参数微调至少需要显存可以估计为16GB\(\times\)参数量，7B模型就需要7\(\times\)16=112GB（指仅考虑将模型、梯度和优化器放下需要的显存，前向计算还需要额外的显存）。

Checkpoint大小计算

保存checkpoint的时候只需要模型参数和优化器状态就行了，使用AdamW训练时优化器的参数量时模型本身的两倍，所以全精度保存checkpoint需要参数量\(\times5\times\)4GB，在用其他精度保存的时候，优化器精度一般保持不变，所以计算方式（16精度2字节为例）应该是（参数量\(\times4\times2\)+参数量\(\times2\)）GB。

You May Also Enjoy

F-learning方法论文阅读笔记

less than 1 minute read

Published:

大型语言模型 (LLM) 的最新进展展示了其在文本理解和生成方面的卓越能力。然而，即使是更强大的 LLM 也容易从训练语料库中获取错误或过时的信息。直接使用包含新知识的数据进行二次微调可能会因新旧知识之间的冲突而无法有效更新知识。在本文中，我们提出了一种新的微调范式，称为 F-Learning（Forgetting before Learning），它使用参数算法来促进旧知识的遗忘和新知识的学习。在两个公开数据集上的实验结果表明，我们提出的 F-Learning 可以明显提高完全微调和 LoRA 微调的知识更新性能，在大多数情况下同时超越现有基线。此外，我们还发现通过减去 LoRA 的参数来忘记旧知识可以产生与减去完全微调的参数类似的效果，有时甚至会大大超过它。

latent adversarial unlearning方法论文阅读笔记

less than 1 minute read

Published:

虽然LLM在许多领域取得了成功，但仍然受到训练语料库中问题内容的困扰。LLM 反学习旨在减少它们的影响并避免不良行为。然而，现有的反学习方法仍然容易受到对抗性查询的攻击，并且反学习的知识会在手动设计的攻击查询之后重新出现。作为红队主动评估反学习模型漏洞的一部分，本文设计了动态反学习攻击 (DUA)，这是一个动态的自动化框架来攻击这些模型并评估其鲁棒性。它优化了对抗性后缀以在各种场景中重新引入未学习的知识。本文发现，即使不透露反学习模型的参数，55.2% 的问题也可以重现反学习的知识。为了解决这一弱点，本文提出了潜在对抗性反学习 (LAU)，这是一个通用框架，可以有效增强反学习过程的鲁棒性。它将反学习过程公式化为最小-最大优化问题，并通过两个阶段解决：攻击阶段，训练扰动向量并将其添加到 LLM 的潜在空间以恢复反学习的知识；防御阶段，使用先前训练的扰动向量来增强反学习模型的鲁棒性。借助LAU框架，本文获得了两种鲁棒的反学习方法：AdvGA 和 AdvNPO。本文在多个反学习基准和各种模型上进行了广泛的实验，并证明它们将反学习效果提高了 53.5% 以上，仅导致邻近知识减少不到 11.6%，并且几乎不影响模型的一般能力。

DEPN方法论文阅读笔记

less than 1 minute read

Published:

在大量数据上进行预训练的大型语言模型可以捕获训练数据中的丰富知识和信息。先前的研究揭示了预训练语言模型中数据记忆和反省的能力，这带来了数据泄露的风险。为了有效降低这些风险，本文提出了一个框架DEPN来检测和编辑预训练语言模型中的隐私神经元，部分灵感来自知识神经元和模型编辑。在DEPN中，本文引入了一种新方法，称为隐私神经元检测器，用于定位与隐私信息相关的神经元，然后通过将其激活设置为零来编辑这些检测到的隐私神经元。此外，本文提出了一种隐私神经元聚合器，以批处理方式取消记忆隐私信息。实验结果表明，DEPN可以显着有效地减少隐私数据泄露的风险，而不会降低模型的性能。此外，本文从多个角度（包括模型大小、训练时间、提示、隐私神经元分布）实证证明了模型记忆与隐私神经元之间的关系，说明了本文方法的鲁棒性。

PCGU论文阅读笔记

less than 1 minute read

Published:

最近的研究表明，大规模预训练语言模型往往会表现出与种族主义、性别歧视、宗教偏见和一般毒性有关的问题。不幸的是，这些预训练语言模型几乎普遍用于下游任务，而自然语言处理通常用于进行现实世界的预测。因此，在开发过程中尽早消除这些语言模型的偏见对于防止自然语言系统造成的无意伤害越来越重要。为此，我们提出了一种称为分区对比梯度反学习 (PCGU) 的新技术，这是一种用于消除预训练掩码语言模型偏见的灰盒方法。PCGU 旨在仅优化对特定偏见领域贡献最大的权重，通过基于对比句子对的梯度计算一阶近似来实现。我们的实验表明，PCGU 既成本低廉，又似乎特别有效地查明大型预训练 Transformer 中隐性社会偏见的来源。虽然我们仅在性别职业领域使用 PCGU 进行训练，但我们发现这样做也可以部分减轻其他领域的偏见。