▼ 关注摩尔线程开发者公众号，及时获取摩尔线程开发者各类服务信息 ▼
摩尔线程自主研发的MT GUI Agent是一款基于AI算力本MTT AIBOOK打造的多模态大模型智能体。具备图形用户界面（GUI）的深度理解能力与自主任务执行能力，旨在突破传统指令式或接口式人机交互的局限，推动人机协作向“机器自主执行任务”的下一代范式演进。该技术将落地应用在MTT AIBOOK，为终端用户提供高度拟人化、自动化的智能操作体验。目前，MT GUI Agent依托摩尔线程云端算力平台运行，并通过标准化接口与终端交互。摩尔线程现已开源其构建的GUI理解数据集，为GUI Agent技术的规模化应用与生态建设奠定了坚实基础。
与传统自动化工具主要依赖预设代码或API接口在后台处理逻辑的模式不同，MT GUI Agent所依托的GUI多模态模型，具备独特的通用交互优势——它能像人类一样直接识别屏幕画面，摆脱了对特定软件接口的依赖，对于可显示图形界面的软件，可实现点击、输入等直接操作。这种基于视觉的通用交互能力，是其实现“机器自主执行任务”愿景的核心技术竞争力。
基于这种差异化优势，我们认为，未来高效的人机协作将是“代码主内、视觉主外”的融合新模式：由代码驱动的Agent负责高效的数据处理、逻辑计算与结构化任务拆解；当遇到无法通过代码或API控制的软件或场景时，系统可无缝切换至MT GUI Agent这类基于视觉的GUI模型，由其完成“最后一公里”的界面操作与交互。这种协同架构能够实现对各类电脑操作任务全面且灵活地覆盖，最终兑现智能、无缝的人机协作所承诺的高效价值。
MT GUI Agent：
以高精度与高效率重塑自动化执行
MT GUI Agent已覆盖多类核心应用场景，在任务准确率与响应速度上展现出了显著优势。现阶段，MT GUI Agent运行在MTT AIBOOK的云端环境。
实测显示，MT GUI Agent能够精准解析复杂的图形用户界面（GUI）元素与布局，准确解析用户自然语言指令背后的操作意图，并模拟真实用户行为，自主完成鼠标点击、键盘输入、窗口切换等连续性操作，轻松应对多步骤的复合型任务。
具体性能表现：
▼ 高精度任务达成：在文件系统管理、桌面终端操作及浏览器自动化三大核心场景中，任务完成率超过90%。
▼ 广泛应用场景：在覆盖文件系统、浏览器、数字人交互、终端命令行、WPS办公应用、AI助手、电子邮箱客户端及其他基础应用等八大通用任务场景中，展现出稳定且高水准的完成能力。
▼ 实时响应能力：通过系统级优化，单步操作推理已实现秒级的快速响应，实现了流畅、实时的交互体验，具备产品级交付的成熟度。
应对复杂场景：
进阶式训练体系打造高可靠智能体
为确保MT GUI Agent在真实的动态办公环境中能如熟练用户般稳定、可靠地工作，其训练并未采用传统的一次性训练模式，而是设计了一套从认知到执行、由简至繁的阶梯式进化体系：
▼能力分层构建：在通用多模态大模型基座之上，首先进行MTT AIBOOK桌面环境的深度理解训练，使智能体精确识别各类图标、控件与窗口。随后，通过“简单单步”、“简单多步”至“复杂多步”任务的递进式学习，系统性提升其任务规划与执行能力。
▼思维链对齐优化：在完成监督微调（SFT）后，引入基于群体策略优化（GRPO）的强化学习算法。该算法不仅评估其动作执行的准确性（如点击位置、输入内容），更关键的是对其推理过程（思维链，Chain-of-Thought）的逻辑一致性与合理性进行奖惩。
这种训练方式确保了MT GUI Agent的“思维过程”与“实际动作”的高度一致，从根本上提升了其在真实场景中应对未见任务时的泛化能力与执行可靠性。
数据与开源双驱动：
构建技术壁垒与开放生态
作为全球为数不多开源相关数据集的GUI Agent项目，摩尔线程依托MTT AIBOOK算力本的真实运行环境，建立了高效的自动化数据采集与标注管线，构建了“任务-子任务-思维链-动作”的完整结构化数据体系。
数据采集管线
数据自动化标注管线
▼超大规模数据基础：目前已累计采集超过10万条屏幕理解与多步任务执行序列数据，并完成了超过100万条的精细标注。
▼开源生态促进创新：摩尔线程正式开源了其GUI理解数据集DeskVision，涵盖了Windows、macOS及Linux等多操作系统的平衡样本，包含丰富的文本、图标UI组件区域注释。其核心GUI理解模型GUI Explorer已在ScreenSpot、GUI-Env等多个国际权威评测基准中取得了SOTA成绩，后续也将持续开放更多GUI Agent相关数据与工具资源。
GUI Explorer模型性能
从实验室原型到产品级引擎
针对大模型部署中的推理延迟与资源消耗挑战，MT GUI Agent综合运用了历史知识压缩、知识蒸馏等模型压缩技术，并结合动态多分辨率推理策略，显著提升了端到端的响应效率与资源利用率。这使得MT GUI Agent不仅仅是一个实验室的原型研究，更是面向真实生产环境、具备实用价值的下一代智能体引擎。
摩尔线程始终致力于为数字世界打造先进的加速计算平台，将持续通过“图形+AI”的融合驱动，携手产业伙伴，共同推进GUI Agent技术的规模化落地与应用普及，以强大的平台能力赋能下一代人机交互的全面升级。
查阅摩尔线程相关论文：
https://academy.mthreads.com/article/7
获取摩尔线程MT GUI Agent开源代码与数据集，请点击下方“阅读原文”或访问：
https://github.com/MooreThreads/DeskVision
*以上测试数据均来自摩尔线程实验室