SGLang-MUSA-M1000
SGLang-MUSA-M1000 v0.5.10发布版本面向摩尔线程 MUSA GPU 上的大模型推理服务,围绕 MUSA kernel 编译、SGLang 服务运行、MATE/TileLang 推理加速和 Qwen3/Qwen3.5 MoE 模型工作流进行了适配。 本版本包含 SGLang Python 服务端、sgl-kernel MUSA 扩展算子、MUSA .mu kernel、M1000 TileLang/MATE 预编译工作流以及服务启动、benchmark、cache 相关配置。
资源下载
MTT E300
Ubuntu 22.04
1.4.1
版本
说明
下载
M1000_1.4.1_sglang
SGLang 是面向大语言模型和视觉语言模型的高性能推理框架。SGLang-MUSA M1000 提供了在摩尔线程 M1000 端侧 GPU 上运行 SGLang 的适配能力,便于用户在 MUSA 软件栈中部署模型服务并进行推理验证。
当前文档覆盖 SGLang-MUSA M1000 的环境准备、源码安装、wheel 出包、服务启动、接口调用和性能测试流程。
详情
下载

