电脑控制(Computer Use)让 AI 能够在你的授权下理解并操作电脑界面,协助完成任务。

使用场景

  • 办公提效
    协助完成信息查询与整理、表单填写、数据录入等日常工作,减少在多个页面和应用之间反复切换。
  • 完成重复性任务
    将规则明确、步骤固定的电脑操作交给 AI 执行,例如录入指定范围内的信息、按模板填写并保存内容、逐项核对状态等,减少手动重复操作。
  • 开发与验收
    将验收要求直接设为目标,例如 “用户能够注册账号并发布文章”。TraeWork 完成开发后,可以通过电脑控制操作应用并检查结果;若发现问题,可继续修改并再次验证。

授权范围

为了使用完整的电脑控制能力,你需要在系统设置中授予 TraeWork 功能使用权限。只授予其中一项权限时,AI 只能使用该权限对应的能力。这些权限只会在你要求 TraeWork 执行任务时使用。

  • 辅助功能:模拟键盘和鼠标操作,以及读取界面元素。
  • 屏幕录制:截取屏幕内容以理解当前界面。

无需单独为 TraeWork 授权。当 TraeWork 在执行任务时移动你的鼠标时,会展示 “TraeWork 正在操作电脑” 的遮罩提示。

启用电脑控制

  1. 前往 设置 > 电脑控制。
  2. 在 启用电脑控制 区域,点击 安装 按钮。
    Image
    TraeWork 将安装 ”电脑控制“ 插件。

提示

若需要了解 “电脑控制” 插件的详情,可以在 TraeWork 主界面左侧导航栏中进入插件市场,搜索 “电脑控制” 插件,然后点击插件卡片打开详情面板。

安装完成后,电脑控制功能自动启用。同时,若你使用的是 macOS 操作系统,界面上将弹出授权窗口。
3. (仅 macOS) 根据实际需要,在 辅助功能 和 屏幕录制 处,点击 去授权 按钮,然后在电脑的系统设置中授权 TraeWork 相应的权限。
4. 重启 TraeWork,确保电脑控制功能生效。

手动引用 “电脑控制” 插件

启用电脑控制功能后,如需让 AI 更准确地识别并执行电脑操作任务,你可以在对话输入框中手动添加 “电脑控制” 插件。

Image

始终允许 AI 操控应用

当 AI 需要操作某个应用时,对话面板中会显示确认面板。勾选 始终允许 选框并点击 提交 按钮后,AI 后续操作该应用时将不再请求确认。

Image

确认始终允许后,该应用将被添加至 设置 > 电脑控制 面板中的 始终允许的应用 列表。你可以随时将该应用从列表中移除。移除后,AI 再次操作该应用前会向你请求确认。

Image

若不希望 AI 在操作新应用前逐一请求确认,可以打开 始终允许操作应用 开关。

指令模板

  • 填写表单
    打开[表单名称或链接],根据已打开的[参考文件]填写[指定字段]。填写完成后检查必填项和页面提示,不要点击提交,停留在提交页面等待我确认。
    
  • 按模板填写内容
    打开[模板文件],复制一份并命名为[文件名]。根据[数据来源]替换模板中的[指定字段],其他内容不要修改。完成后保存文件并停留在结果页面,不要发送或发布。
    
  • 验证核心流程
    启动[待验证应用],按照“[步骤一] > [步骤二] > [步骤三]”执行一次操作,检查最终是否出现[预期结果]。如果失败,停止操作,并向我说明失败步骤、页面提示和复现过程。不要删除数据或对外发布。
    
  • 开发并验收功能
    在当前项目中实现[功能要求]。完成后启动应用,并通过电脑控制按照“[验收步骤]”验证[预期结果]。如果验证失败,记录页面提示和复现步骤,定位并尝试修复一次,然后重新验证。仍未通过时停止操作并向我说明结果,不要删除现有数据或对外发布。