Megatron Pipeline parallel走读
· 7 min read
最近在适配模型训练的工作中,需要修改 Megatron PP切分部分的代码,因此对 Megatron 这部分实现的代码进行了走读,做一下记录。
最近在适配模型训练的工作中,需要修改 Megatron PP切分部分的代码,因此对 Megatron 这部分实现的代码进行了走读,做一下记录。
最近我在尝试使用 Actix-web 实现一个 Web 服务,其中涉及到了 JWT 鉴权的实现。为此,我想实现一个 middleware
来对请求进行前置处理。
但是,在 Actix-web 中实现一个中间件要比 JavaScript 和 Java 的 Web 框架复杂得多。在这里,我记录一下实现的过程和自己的理解。
前段时间在尝试用 Rust 刷 Leetcode,一开始感觉没什么问题。直到遇到单向链表,我开始和编译器作斗争了。