Megatron Pipeline parallel走读December 10, 2024 · 7 min read最近在适配模型训练的工作中，需要修改 Megatron PP切分部分的代码，因此对 Megatron 这部分实现的代码进行了走读，做一下记录。