跳到主要内容

AI 智能体使用手册

适用版本
  • 中控 10.1.0 及以上新中控
  • 安装包中已包含 AI 智能体组件(一般无需单独安装)

它能做什么

AI 智能体是 新中控 里的智能助手,帮您用 说话的方式拖拽流程图 来操作已连接的 iPhone / iPad,例如:

  • AI 对话:用中文描述需求,例如「帮我在第一台手机打开 Safari」,由 AI 理解并安排执行
  • 工作流:把常用操作做成可重复使用的自动化流程,支持一键运行、多台设备同时跑;运行时不消耗 Token,无需连接大模型
  • AI 写流程:在编辑器里用自然语言描述,让 AI 帮您生成或修改流程
  • 图色找图:模板匹配、偏色找图,配合预览裁剪模板、一键取中心点再点击
  • OCR / VLM:识文字、视觉大模型定位元素(界面树不够用时)
  • 外部工具(可选):把常用的命令行程序、HTTP 接口、MCP 服务等接入,供流程或对话调用
怎么打开
  1. 启动 新中控
  2. 点击 「AI 智能体」 按钮

后台服务由新中控自动管理,无需 单独启动其他程序。

使用前请先读 环境与授权

所有 AI 工作流(含对话操作设备、试跑、批量任务)都需要 USB 设备授权,并按步骤类型配好 自动化 IPA 环境蓝牙/OTG 环境。未完成时常见授权失败、无法点击截图。

常见问题速查

要买哪种授权?和投屏授权一样吗?

AI 智能体需要 USB 设备授权(不是投屏授权)。购买后在 授权中心 → 批量授权 绑定。详见 常见问题速查 · 授权环境与授权

一定要配大模型吗?

AI 对话AI 写流程 需要配置大模型;运行 / 试跑已保存工作流 不需要。见 常见问题速查 · 大模型配置与数据目录

跑工作流会消耗 Token 吗?

不会。 试跑、批量运行、跑 .spk 流程均 不消耗对话大模型 Token;仅 AI 对话与 AI 写流程会按 LLM 服务商计费。见 常见问题速查 · Token

→ 完整说明:常见问题速查

界面一览

AI 对话

→ 更多截图与上手路径:界面预览

推荐阅读顺序

章节文档适合什么时候看
0环境与授权必读:USB 授权、自动化 IPA、蓝牙/OTG 环境
0b常见问题速查折叠 FAQ:授权类型、大模型、Token
1快速开始第一次使用,配置大模型、选设备
1b界面预览看主要界面截图与 30 秒上手路径
2AI 对话用聊天方式驱动设备
3工作流编辑器编排、试跑、变量池、保存流程
4工作流 .spk导出 .spk 包给客户、导入只读流程
5图色找图模板/偏色找图、预览裁剪、点击图标
6工作流步骤参考查某一步怎么配(查阅用)
7配置与数据目录改存储位置、模型、OCR/VLM、并发数
8外部集成对接命令行 / HTTP / MCP(进阶)
9任务与监控看执行进度、暂停与继续
10常见问题打不开、连不上、执行失败

和「与 AI 结合辅助编程」有什么不同

与 AI 结合辅助编程AI 智能体(本手册)
做什么在 Cursor / IDEA 里 写脚本在专用界面里 直接操作已连设备
适合谁会写 EC 脚本、做复杂业务逻辑想快速试自动化、批量跑流程
界面编程软件AI 智能体窗口

两者可以一起用:复杂逻辑用脚本,日常批量任务用 AI 智能体。