給 DSH 用的 Windows computer-use 外掛：UIA 控制元件樹、本地 OCR 與圖示檢測、視覺語義識別、視窗繫結、原生輸入、瀏覽器自動化，以及可選的視窗作用域選擇器。
DSH 整合
原生執行環境
作者聲明
安全稽核
未稽核
最後核實
2026-11-11
授權條款
MIT
01它能幫你完成什麼？
在 DSH 對話裡操作 Windows 桌面應用
視窗繫結、UIA 控制元件樹、本地 OCR 與圖示檢測、視覺語義識別、原生滑鼠鍵盤輸入，並把操作後的介面狀態讀回
想讓 DSH 操作真實桌面軟體、而不只是檔案和 shell 的 Windows 使用者
在同一個桌面任務裡讀網頁並操作它
基於 Playwright/DOM 的瀏覽器自動化，預設使用已安裝的 Microsoft Edge
一個流程裡既要桌面應用又要瀏覽器的人
02如何將外掛接入 DeepSeek Harness？
先決條件
- Windows 10/11、Node.js >= 22 與 DeepSeek Harness
- `uv` 已加入 PATH；首次安裝 Python 相依需要聯網
- OCR 與圖示檢測權重已隨儲存庫分發
安裝步驟
- 01
在 DSH 的 Plugins → Add plugin 裡貼上 `dsh-doraemon@git+https://github.com/Mrkennyhungry/dsh-cua.git#main`
- 02
重啟 DSH
- 03
在安裝包目錄開啟 PowerShell，執行一次 `\scripts\bootstrap.ps1` —— 它會建立 Python 3.11 環境、安裝相依並複製模型權重
- 04
再次重啟 DSH
驗證整合成功
- 試著說：「用 doraemon 開啟記事本，寫一行 hello，然後把視窗標題讀回來。」
03DSH 整合程度與能力邊界
DSH 外掛（`dsh-doraemon`），核心是一個由 bootstrap 指令碼啟動的 Python 程序；工具把 UIA、OCR、輸入與瀏覽器自動化暴露給 agent
視窗列舉與繫結
目標應用視窗→一個視窗控制代碼，後續的觀察與操作都繫結到它
UI Automation 控制元件樹
已繫結視窗的原生控制元件→控制元件名稱、型別、值與位置
本地 OCR 與圖示檢測
已繫結視窗的截圖→RapidOCR 與 YOLO 給出的文字與圖示位置
在本機本地執行視覺語義識別
沒有文字的圖示→描述圖示內容、幫助定位的 caption
開啟圖示 caption 且有可用 Key 時，會把標註截圖與圖示裁圖發給 DeepSeek 介面桌面輸入
agent 的動作→真實滑鼠點選、鍵盤輸入、快捷鍵、滾動與拖拽
使用真實滑鼠指標，需要前台焦點視窗作用域選擇器（可選，預設關閉）
你透過停靠選擇器授權的視窗或應用→CUA 操作被限制在選中的視窗內
需要 .NET 10 SDK、本地建置 Avalonia 選擇器，並在 profile 裡設 `commandFeedback: true`
04適合誰？何時不該用？
適合
- 想讓 DSH 操作真實桌面軟體、而不只是檔案和 shell 的 Windows 使用者
- 一個流程裡既要桌面應用又要瀏覽器的人
不適合
- 僅限 Windows：需要 Windows 10/11、Node.js >= 22、DeepSeek Harness 以及加入 PATH 的 `uv`，而且它不是獨立執行的桌面助手。
- 只裝外掛不執行 `scripts/bootstrap.ps1`，核心無法啟動——該指令碼負責建立 Python 3.11 環境、安裝相依並複製模型權重。
- 外掛在本機執行真實操作，不是隔離沙箱；讓它刪除或搬移檔案前應先備份並確認。
- 座標操作使用真實滑鼠，前台焦點、自繪介面與管理員視窗都會影響它——不是所有 Windows 軟體都能自動化。
- 開啟圖示 caption 且有可用 Key 時，會把標註截圖與圖示裁圖發給 DeepSeek 介面，所以即使 OCR 與圖示檢測在本地執行，整個外掛也不能算完全離線。
- 0.4.5–0.4.7 的釋出版內建過預設開啟的遙測，會把後設資料發往第三方域名；已在 0.4.8 移除。
- `effect: "confirmed"` 只說明介面發生了變化；任務是否真的成功，要看視窗內容、下載狀態或訊息記錄。
05相容性、維護與安全提醒
- 僅限 Windows：需要 Windows 10/11、Node.js >= 22、DeepSeek Harness 以及加入 PATH 的 `uv`，而且它不是獨立執行的桌面助手。
- 只裝外掛不執行 `scripts/bootstrap.ps1`，核心無法啟動——該指令碼負責建立 Python 3.11 環境、安裝相依並複製模型權重。
- 外掛在本機執行真實操作，不是隔離沙箱；讓它刪除或搬移檔案前應先備份並確認。
- 座標操作使用真實滑鼠，前台焦點、自繪介面與管理員視窗都會影響它——不是所有 Windows 軟體都能自動化。
- 開啟圖示 caption 且有可用 Key 時，會把標註截圖與圖示裁圖發給 DeepSeek 介面，所以即使 OCR 與圖示檢測在本地執行，整個外掛也不能算完全離線。
- 0.4.5–0.4.7 的釋出版內建過預設開啟的遙測，會把後設資料發往第三方域名；已在 0.4.8 移除。
- `effect: "confirmed"` 只說明介面發生了變化；任務是否真的成功，要看視窗內容、下載狀態或訊息記錄。
MIT · 僅 README 證據，最新版本 v0.4.7，未做安全稽核
06常見問題
DSH CUA 怎麼安裝？
在 DSH 的 Plugins → Add plugin 裡貼上 `dsh-doraemon@git+https://github.com/Mrkennyhungry/dsh-cua.git#main`，重啟 DSH，然後在安裝包目錄用 PowerShell 執行一次 `scripts/bootstrap.ps1`。該指令碼會建立 Python 3.11 環境、安裝相依並複製模型權重——只裝外掛不跑它，核心無法啟動。之後再重啟一次 DSH。
第一次跑通是什麼樣子？
README 建議的驗收任務是：「用 doraemon 開啟記事本，寫一行 hello，然後把視窗標題讀回來。」建議從記事本這類簡單任務開始，涉及刪除、搬家檔案的操作要先備份並確認。
它是完全離線的嗎？
不是。OCR 與圖示檢測在本地執行，但開啟圖示 caption 且有可用 Key 時，會把標註截圖和圖示裁圖發給 DeepSeek 介面；顯式讀取圖片也可能把影像交給 DSH 裡設定的模型。
能限制它只操作指定視窗嗎？
可以，用可選的視窗作用域選擇器，預設關閉。它需要 .NET 10 SDK、用 `scripts/build-companion-ui.ps1` 本地建置（約 220 MB，儲存庫裡沒有預編譯產物），並在 profile 裡加 `commandFeedback: true`——缺任何一項，點角色只會動一下、不會彈窗。
主要限制有哪些？
需要 Windows 10/11、Node.js >= 22、DSH 以及加入 PATH 的 `uv`。座標操作使用真實滑鼠，前台焦點、自繪介面和管理員視窗都可能讓自動化失敗。`effect: "confirmed"` 只說明介面發生了變化，不代表任務成功。
07相關的 DSH 工作流程
open-design
作者 nexu-io
DeepSeek Harness 的开源 AI 设计插件，本地优先桌面应用，让编码智能体变身设计引擎，生成原型、落地页、幻灯片、图片与视频，支持多种格式导出。
mole
作者 tw93
将 Mole 命令行工具作为 DSH 技能使用，进行磁盘分析、预览清理、卸载应用和系统健康检查。
dsh-desktop
作者 anywhere-labs
为 DeepSeek Harness (DSH) 插件生态打造的现代化桌面端解决方案。万物皆「插件」，桌面本身也是「插件」。
picgo
作者 molunerfinn
PicGo：面向高效创作者的图片上传神器，支持 Obsidian、Typora、VS Code 等编辑器，以及 S3、GitHub、Cloudflare R2、Imgur、阿里云 OSS 等 60+ 图床，粘贴即上传。
08資料與來源
让 **DeepSeek Harness（DSH）操作 Windows 桌面应用与浏览器**。
仓库名是 `dsh-cua`；安装包名为 **`dsh-doraemon`**。
Windows computer-use plugin for DeepSeek Harness, combining UI Automation (UIA), local OCR, window binding, browser auto…
此頁面根據專案公開文件、儲存庫中繼資料與 DSH Plugins 的結構化解析所產生；最後核實於 2026-11-11。發現錯誤？提交更正。
最佳 DeepSeek Harness 外掛
從全目錄挑出的 12 個值得優先安裝的外掛，涵蓋各個分類。