Library & Notes
文章、笔记
与研究报告。
关于大模型、分布式系统与工程实践的长期整理。点击任意条目即可打开完整内容。
All documents
2 篇内容大模型分布式并行方式详解
系统梳理 DP、ZeRO、FSDP、TP、PP、SP、CP 与 EP 的原理、通信和选型。
国内大模型蒸馏技术报告
蒸馏方法、训练实践与国内技术路线的结构化整理，支持在线阅读。
新内容会继续收录在这里。PDF 报告可以在阅读器中直接下载，也可从个人首页使用下载入口。