https://www.huaxiaozhuan.com/工具/huggingface_transformer/chapters/7_accelerate.html

https://blog.csdn.net/weixin_43646592/article/details/134713912

https://huggingface.co/docs/transformers/zh/main_classes/deepspeed

Accelerate

Accelerate 是由 Hugging Face 提供的一个高效分布式训练库，旨在简化分布式训练和设备管理流程，使用户能够更方便地在多种硬件配置上运行同一套 PyTorch 代码。通过 Accelerate，用户只需添加少量代码修改，就可以轻松地在多 GPU、多 TPU 或其他分布式环境中进行模型训练，而无需显式处理设备间的数据分片、通信和设备管理。

社区中有两个流行的 零冗余优化器（Zero Redundancy Optimizer，ZeRO） 算法实现，一个来自 DeepSpeed，另一个来自 PyTorch。Hugging Face Accelerate 对这两者都进行了集成并通过接口暴露出来，以供最终用户在训练/微调模型时自主选择其中之一。

deepspeed

ZeRO

ZeRO（Zero Redundancy Optimizer）是一种用于大规模训练优化的技术，主要是用来减少内存占用。在大规模训练中，内存占用可以分为 Model States 和 Activation两部分 (Activation估计是前向传播时保存下来的各神经元的激活值吧，因为反向传播时计算梯度需要用到) ，而 ZeRO 主要是为了解决 Model States 的内存占用问题。

ZeRO 将模型参数分成了三个部分：Optimizer States、Gradient 和 Model Parameter。

• Optimizer States 是 Optimizer 在进行梯度更新时所需要用到的数据，例如 SGD 中的 Momentum。
• Gradient 是在反向传播后所产生的梯度信息，其决定了参数的更新方向。
• Model Parameter 则是模型参数，也就是我们在整个过程中通过数据“学习”的信息。

不同的 stage

• ZeRO-0：禁用所有类型的分片，仅使用 DeepSpeed 作为 DDP (Distributed Data Parallel)
• ZeRO-1：把优化器状态(optimizer states)分片到每个数据并行的工作进程(每个GPU)下；
• ZeRO-2：把 优化器状态(optimizer states) + 梯度(gradients) 分片到每个数据并行的工作进程(每个GPU)下；
• ZeRO-3：把优化器状态(optimizer states) + 梯度(gradients) + 模型参数(parameters) 分片到每个数据并行的工作进程(每个GPU)下。内存减少与数据并行度呈线性关系。例如，在64个GPU（Nd=64）之间进行拆分将产生64倍的内存缩减。通信量有50%的适度增长。
• ZeRO-Infinity是ZeRO-3的拓展。允许通过使用 NVMe 固态硬盘扩展 GPU 和 CPU 内存来训练大型模型。ZeRO-Infinity 需要启用 ZeRO-3。

优化器状态 一般包含FP32 Gradient、FP32 Variance、FP32 Momentum、FP32 Parameters。梯度和模型参数 一般会用FP16就够了，所以占用大头一般是优化器相关的。