DeepSpeed - 有用的资源

DeepSpeed 是一个强大的深度学习优化库，它使得在训练大规模模型时克服许多挑战成为可能。它使我们能够通过 ZeRO 冗余优化、3D 并行、混合精度训练和梯度检查点等功能进行更快、更高效和规模更大的模型训练。