图色找图
当界面 没有稳定 UI 节点(例如游戏、自定义绘制、图标按钮)时,可用 图色找图 在屏幕上定位小图,再配合 点击 完成操作。
和节点抓取怎么选
| 手段 | 适合 |
|---|---|
节点抓取(fetch_nodes) | 有标准 UI 树、文字 label,最稳 |
模板找图(match_template_*) | 固定图标、按钮样式 |
偏色找图(find_image_by_color_*) | 透明底、偏色小图 |
| OCR | 认文字 |
| VLM 视觉定位 | 用自然语言描述元素位置 |
工作流里的四步套路
截图(可选)→ 找图 → 找图数据提取 → 点击
- 找图:
无自动化找图/自动化找图,或偏色找图的对应步骤 - 找图数据提取(
pick_match):从匹配结果里取 中心点 或 相似度最高 的一条 - 点击:
click_point读取上一步变量
也可省略单独截图步骤:找图步骤会在未指定「引用截图变量」时 自动截当前屏幕。
模板找图 vs 偏色找图
| 步骤 | 算法 | 小图特点 |
|---|---|---|
match_template_no_auto / _auto | OpenCV 模板匹配 | 普通 PNG/JPG 图标 |
find_image_by_color_no_auto / _auto | 偏色找图 | 透明、半透明、颜色偏差大的小图 |
名称规则与截图/OCR 一致:
| 后缀 | 要不要开自动化 |
|---|---|
| 无自动化(Bridge 截屏) | 不用 |
| 自动化(Agent 截屏) | 要(先 启动自动化环境) |
模板图片从哪来
| 方式 | 说明 |
|---|---|
| 本机路径 | 填 templatePath,相对流程 工作目录,如 assets/templates/btn_ok.png |
| Base64 | 高级:templateBase64 直接嵌入小图 |
| 编辑器预览里裁剪 | 试跑设备在线 → 步骤卡片点 找图预览 → 框选区域 → 截取图片 保存为模板 |
建议在 流程配置 → 工作目录 下建 assets/templates/,模板与流程一起备份。
找图预览(编辑器)
选中找图或偏色找图步骤,选好试跑设备后:
| 按钮 | 作用 |
|---|---|
| 找图预览 | 截屏 + 匹配,画布上显示匹配框 |
| 区域选择 | 在大图上框 搜索范围,写入步骤的 region |
| 截取图片 | 把框选区域保存为模板文件 |
| 重新找图 | 换屏后重新匹配 |
偏色找图步骤同样有预览,参数区可填 偏色容差、方向 等。
主要参数(查阅用)
模板找图 match_template_*
| 参数 | 说明 |
|---|---|
saveAs | 结果变量名(必填) |
templatePath / templateBase64 | 小图(二选一) |
imageFromParam | 可选,引用上一步截图变量的 imageBase64 |
region | 可选,只在屏幕某矩形内搜索 |
weakThreshold / threshold | 相似度阈值(默认约 0.9) |
limit | 最多返回几条匹配 |
偏色找图 find_image_by_color_*
| 参数 | 说明 |
|---|---|
saveAs | 结果变量名 |
templatePath / templateBase64 | 偏色小图 |
colorOffset | 偏色容差 |
direction | 搜索方向(0–3) |
limit | 最多返回点数 |
找图数据提取 pick_match
| 参数 | 说明 |
|---|---|
fromParam | 指向前面的找图 saveAs |
saveAs | 输出坐标变量 |
pick.mode | center(中心点)、best(最高相似度)、find(按条件+序号) |
找图结果的 x/y 是 模板左上角;点击按钮中心请用 pick_match 的 center 模式。
典型流程示例
固定图标按钮:
match_template_no_auto→ 保存为match_1pick_match:fromParam=match_1,mode=center→btn_pointclick_point:fromParam=btn_point
先截图再在同一张图上找:
capture_screen_no_auto→screen_1match_template_no_auto:imageFromParam=screen_1- 后续同左
AI 对话里怎么说
配置大模型后,可以说:
- 「对第一台做 无自动化找图,模板是 xxx.png」
- 「自动化找图 找登录按钮,再点中心」
复杂模板裁剪、区域限定建议在 工作流编辑器 里用 找图预览 完成。
常见问题
| 现象 | 处理 |
|---|---|
| 未找到匹配 | 降低阈值、缩小 region、换更清晰模板;偏色图试 偏色找图 |
| 自动化找图失败 | 先 启动自动化环境;或改用 无自动化找图 |
| 点偏了 | 用 pick_match center,不要直接用 matches 的左上角坐标 |
| 模板路径找不到 | 确认 工作目录 + assets/templates/ 路径正确 |
更多步骤字段见 工作流步骤参考。