AI 推理

提供摩尔线程 GPU 推理框架、模型镜像与部署指引，帮助开发者快速启动模型推理服务。

推理镜像

选择推理框架，获取适合平台和环境的镜像。

SGLang-MUSA 镜像

基于SGLang-MUSA的推理镜像。

可选版本：0.5.12/13

选择版本并获取镜像相关资料

vLLM-MUSA 镜像

基于vLLM-MUSA的推理镜像。

可选版本：0.24、0.21

选择版本并获取镜像相关资料

推理实践

全部模型指南

SGLang-MUSA 推理框架的多模型部署指南。

Qwen3 Dense

文本模型部署

查看部署指南

Qwen3 VL

视觉语言模型部署

查看部署指南

GLM

PD 分离部署

查看部署指南

DeepSeek

单机与 PD 分离部署

查看部署指南

推理软件栈

SGLang-MUSA推理框架，面向大模型分布式推理 vLLM-MUSA推理框架，面向大模型广泛适配 ONNX Runtime-MUSA面向视觉、语音、搜索推荐、NLP 的广泛适配

Neuro_Trim基于 torch_musa 自研模型量化工具

Torch MUSA深度学习框架，面向视觉、语音、DiT 及生成式模型的广泛适配 llama.cpp面向轻量化与高性能本地部署场景，支持 Transformer 架构模型的 GGUF 格式

白皮书与课程

PD 分离异构算力混部实践技术白皮书

MTT S5000 Prefill-as-a-Service 技术白皮书

摩尔线程 GPU 大模型推理服务部署从入门到精通

计算工程：大模型训练与推理优化实践