给 DSH 用的 Windows computer-use 插件：UIA 控件树、本地 OCR 与图标检测、视觉语义识别、窗口绑定、原生输入、浏览器自动化，以及可选的窗口作用域选择器。
DSH 适配
原生运行时
作者声明
安全审计
未审计
最后核验
2026-11-11
许可证
MIT
01它能帮你完成什么？
在 DSH 对话里操作 Windows 桌面应用
窗口绑定、UIA 控件树、本地 OCR 与图标检测、视觉语义识别、原生鼠标键盘输入，并把操作后的界面状态读回
想让 DSH 操作真实桌面软件、而不只是文件和 shell 的 Windows 用户
在同一个桌面任务里读网页并操作它
基于 Playwright/DOM 的浏览器自动化，默认使用已安装的 Microsoft Edge
一个流程里既要桌面应用又要浏览器的人
02如何接入 DeepSeek Harness？
前置条件
- Windows 10/11、Node.js >= 22 与 DeepSeek Harness
- `uv` 已加入 PATH；首次安装 Python 依赖需要联网
- OCR 与图标检测权重已随仓库分发
安装步骤
- 01
在 DSH 的 Plugins → Add plugin 里粘贴 `dsh-doraemon@git+https://github.com/Mrkennyhungry/dsh-cua.git#main`
- 02
重启 DSH
- 03
在安装包目录打开 PowerShell，运行一次 `\scripts\bootstrap.ps1` —— 它会创建 Python 3.11 环境、安装依赖并复制模型权重
- 04
再次重启 DSH
验证接入成功
- 试着说：「用 doraemon 打开记事本，写一行 hello，然后把窗口标题读回来。」
03DSH 适配与能力边界
DSH 插件（`dsh-doraemon`），内核是一个由 bootstrap 脚本启动的 Python 进程；工具把 UIA、OCR、输入与浏览器自动化暴露给 agent
窗口枚举与绑定
目标应用窗口→一个窗口句柄，后续的观察与操作都绑定到它
UI Automation 控件树
已绑定窗口的原生控件→控件名称、类型、值与位置
本地 OCR 与图标检测
已绑定窗口的截图→RapidOCR 与 YOLO 给出的文字与图标位置
在本机本地运行视觉语义识别
没有文字的图标→描述图标内容、帮助定位的 caption
开启图标 caption 且有可用 Key 时，会把标注截图与图标裁图发给 DeepSeek 接口桌面输入
agent 的动作→真实鼠标点击、键盘输入、快捷键、滚动与拖拽
使用真实鼠标指针，需要前台焦点窗口作用域选择器（可选，默认关闭）
你通过停靠选择器授权的窗口或应用→CUA 操作被限制在选中的窗口内
需要 .NET 10 SDK、本地构建 Avalonia 选择器，并在 profile 里设 `commandFeedback: true`
04适合谁？何时不该用？
适合
- 想让 DSH 操作真实桌面软件、而不只是文件和 shell 的 Windows 用户
- 一个流程里既要桌面应用又要浏览器的人
不适合
- 仅限 Windows：需要 Windows 10/11、Node.js >= 22、DeepSeek Harness 以及加入 PATH 的 `uv`，而且它不是独立运行的桌面助手。
- 只装插件不运行 `scripts/bootstrap.ps1`，内核无法启动——该脚本负责创建 Python 3.11 环境、安装依赖并复制模型权重。
- 插件在本机执行真实操作，不是隔离沙箱；让它删除或搬移文件前应先备份并确认。
- 坐标操作使用真实鼠标，前台焦点、自绘界面与管理员窗口都会影响它——不是所有 Windows 软件都能自动化。
- 开启图标 caption 且有可用 Key 时，会把标注截图与图标裁图发给 DeepSeek 接口，所以即使 OCR 与图标检测在本地运行，整个插件也不能算完全离线。
- 0.4.5–0.4.7 的发布版内置过默认开启的遥测，会把元数据发往第三方域名；已在 0.4.8 移除。
- `effect: "confirmed"` 只说明界面发生了变化；任务是否真的成功，要看窗口内容、下载状态或消息记录。
05兼容性、维护与安全提示
- 仅限 Windows：需要 Windows 10/11、Node.js >= 22、DeepSeek Harness 以及加入 PATH 的 `uv`，而且它不是独立运行的桌面助手。
- 只装插件不运行 `scripts/bootstrap.ps1`，内核无法启动——该脚本负责创建 Python 3.11 环境、安装依赖并复制模型权重。
- 插件在本机执行真实操作，不是隔离沙箱；让它删除或搬移文件前应先备份并确认。
- 坐标操作使用真实鼠标，前台焦点、自绘界面与管理员窗口都会影响它——不是所有 Windows 软件都能自动化。
- 开启图标 caption 且有可用 Key 时，会把标注截图与图标裁图发给 DeepSeek 接口，所以即使 OCR 与图标检测在本地运行，整个插件也不能算完全离线。
- 0.4.5–0.4.7 的发布版内置过默认开启的遥测，会把元数据发往第三方域名；已在 0.4.8 移除。
- `effect: "confirmed"` 只说明界面发生了变化；任务是否真的成功，要看窗口内容、下载状态或消息记录。
MIT · 仅 README 证据，最新版本 v0.4.7，未做安全审计
06常见问题
DSH CUA 怎么安装？
在 DSH 的 Plugins → Add plugin 里粘贴 `dsh-doraemon@git+https://github.com/Mrkennyhungry/dsh-cua.git#main`，重启 DSH，然后在安装包目录用 PowerShell 运行一次 `scripts/bootstrap.ps1`。该脚本会创建 Python 3.11 环境、安装依赖并复制模型权重——只装插件不跑它，内核无法启动。之后再重启一次 DSH。
第一次跑通是什么样子？
README 建议的验收任务是：「用 doraemon 打开记事本，写一行 hello，然后把窗口标题读回来。」建议从记事本这类简单任务开始，涉及删除、搬家文件的操作要先备份并确认。
它是完全离线的吗？
不是。OCR 与图标检测在本地运行，但开启图标 caption 且有可用 Key 时，会把标注截图和图标裁图发给 DeepSeek 接口；显式读取图片也可能把图像交给 DSH 里配置的模型。
能限制它只操作指定窗口吗？
可以，用可选的窗口作用域选择器，默认关闭。它需要 .NET 10 SDK、用 `scripts/build-companion-ui.ps1` 本地构建（约 220 MB，仓库里没有预编译产物），并在 profile 里加 `commandFeedback: true`——缺任何一项，点角色只会动一下、不会弹窗。
主要限制有哪些？
需要 Windows 10/11、Node.js >= 22、DSH 以及加入 PATH 的 `uv`。坐标操作使用真实鼠标，前台焦点、自绘界面和管理员窗口都可能让自动化失败。`effect: "confirmed"` 只说明界面发生了变化，不代表任务成功。
07相关的 DSH 工作流
open-design
作者 nexu-io
DeepSeek Harness 的开源 AI 设计插件，本地优先桌面应用，让编码智能体变身设计引擎，生成原型、落地页、幻灯片、图片与视频，支持多种格式导出。
mole
作者 tw93
将 Mole 命令行工具作为 DSH 技能使用，进行磁盘分析、预览清理、卸载应用和系统健康检查。
dsh-desktop
作者 anywhere-labs
为 DeepSeek Harness (DSH) 插件生态打造的现代化桌面端解决方案。万物皆「插件」，桌面本身也是「插件」。
picgo
作者 molunerfinn
PicGo：面向高效创作者的图片上传神器，支持 Obsidian、Typora、VS Code 等编辑器，以及 S3、GitHub、Cloudflare R2、Imgur、阿里云 OSS 等 60+ 图床，粘贴即上传。
08数据与来源
让 **DeepSeek Harness（DSH）操作 Windows 桌面应用与浏览器**。
仓库名是 `dsh-cua`；安装包名为 **`dsh-doraemon`**。
Windows computer-use plugin for DeepSeek Harness, combining UI Automation (UIA), local OCR, window binding, browser auto…
页面基于项目公开文档、仓库元数据和 DSH Plugins 的结构化解析生成；最后核验于 2026-11-11。发现错误？提交更正。
最佳 DeepSeek Harness 插件
从全目录挑出的 12 个值得优先安装的插件，覆盖各个分类。