uid_cn_2rckn6rwyfpc 硬件报告支持 concurrent kernels! MTT X300 的 concurrentKernels = 1,warpSize = 128,32 个 SM,每 SM 6144 线程。 但实测stream是串行的。 1. MTT X300 + Driver 3.0.0 是否支持 concurrent kernel execution 2. 如果不支持,哪个版本的驱动/SDK 会支持 3. 是否有其他方式实现多路 GPU 计算并行
clarke_123 @uid_cn_2rckn6rwyfpc 感谢您的测试和反馈! 经确认,MTT X300受硬件架构能力限制,目前暂时无法实现单GPU上多个Kernel的并发执行。更换驱动/SDK应该无法实现多Kernel的并发支持。即使通过 muStreamCreate创建多个 Stream,不同 Stream 中的 Kernel 也可能表现为串行执行。 concurrentKernesl = 1 :根据MUSA Driver API文档(https://docs.mthreads.com/musa-sdk/version-5.2.0/libraries/core_api/driver_api_reference/),该字段表示设备查询接口返回的并发能力标识,但不保证多个 Kernel 在实际运行时能够同时驻留和执行,不能单独作为实测并发的判断依据。 现阶段可以根据计算任务的特点,考虑通过批处理、合并同类任务,或对存在数据依赖的计算步骤进行 Kernel融合,以提高单个 Kernel 的资源利用率并减少启动和中间数据读写开销。