DeepSpeed大模型分布式框架

型分布式框架

挑战每天讲透一个 AI 大模型知识点

本次分享大纲

入门

基础

创新

实战

精通

1. 核心挑战：为何需要分布式训练？ 2. 基础并行策略：数据并行（Data Parallelism）的原理与局限 3. 进阶井行策略：模型并行（Model Parallelism）-流水线与张量 4. DeepSpeed 核心创新：ZeRO- 零冗余优化器详解（Stage 1-3） 5. 突破硬件极限：ZeRO-0ffload 与 ZeRO-Infinity 6. 实战演练：DeepSpeed 配置与启动 7. 总结：如何选择最适合你的并行策略

如何训练一个参数量远超单张 GPU 显存的大模型？

显存容量：80GB

优化器状态 （Optimizer States） （e.g.，1.4TB） 模型参数（Model Parameters） （e.g,700GB）

梯度（Gradients） （e.g,700GB）

（Activations）

大模型训练需要巨大的显存来存储模型 参数、梯度、优化器状态和激活值。 以一个 1750 亿参数的 GPT-3 模型为例， 仅模型参数和优化器状态就需要数 TB 的内存，远超任何单张 GPU 的容量。 传统的单卡训练模式已无法满足前沿大 模型的需求。