Intel
MTT S5000 | x86_64 | Ubuntu 22.04
docker pull registry.mthreads.com/mcctest/training-suite:v2.1.7AI 训练
在摩尔线程 GPU 上进行大模型预训练、模型微调和强化学习后训练。
开始训练
- 安装 GPU 驱动
- 安装 MT Container Toolkit
- 拉取并启动 TrainingSuite 镜像
- 验证运行环境
mthreads-gmi、PyTorch 和 torch_musa
- 选择训练任务
预训练、模型微调或强化学习后训练
训练镜像
在资源中心查看全部版本Hygon
MTT S5000 | x86_64 | Ubuntu 22.04
docker pull registry.mthreads.com/mcctest/training-suite:v2.1.7_hygon具体训练所需的镜像版本，以对应实践教程为准。
选择训练任务
预训练
用大规模语料训练基础模型，从单机扩展到多机。
用指令或对话数据调整已有模型，包括全参数 SFT、LoRA、QLoRA 和 DPO。
用奖励信号继续训练模型，使用 GRPO、PPO 等算法。
通用 PyTorch 训练
在 PyTorch 中使用 torch_musa 训练自定义模型。
性能优化
MT-DeepSpeed
通过 ZeRO、混合精度、梯度累积和 offload 降低单卡显存压力，提高多卡训练效率。
MT-TransformerEngine
在摩尔线程 GPU 上使用 FP8 训练和融合优化，可与 MT-Megatron 集成。