DSH 向け Windows computer-use プラグイン。UIA コントロールツリー、ローカル OCR とアイコン検出、視覚的グラウンディング、ウィンドウバインド、ネイティブ入力、ブラウザ自動化、任意のウィンドウスコープ選択を備えます。
DSH 統合
ネイティブ実行
作者による申告
安全性監査
未監査
最終検証日
2026-11-11
ライセンス
MIT
01どんなタスクに使えるのか？
DSH の会話から Windows デスクトップアプリを操作する
ウィンドウのバインド、UIA コントロールツリー、ローカル OCR とアイコン検出、視覚的グラウンディング、ネイティブのマウス・キーボード入力、そして操作後の UI 状態の読み戻し
ファイルやシェルだけでなく、実際のデスクトップソフトを DSH に操作させたい Windows ユーザー
同じデスクトップ作業の中で Web ページを読み操作する
Playwright/DOM によるブラウザ自動化。既定ではインストール済みの Microsoft Edge を使用
1 つの流れでデスクトップアプリとブラウザの両方を扱う人
02DeepSeek Harness への導入方法
前提条件
- Windows 10/11、Node.js 22 以上、DeepSeek Harness
- PATH の通った `uv`。Python 依存関係の初回インストールにはネットワークが必要です
- OCR とアイコン検出の重みはリポジトリに同梱されています
インストール手順
- 01
DSH の Plugins → Add plugin に `dsh-doraemon@git+https://github.com/Mrkennyhungry/dsh-cua.git#main` を貼り付けます
- 02
DSH を再起動します
- 03
インストールされたパッケージのディレクトリで PowerShell を開き、`\scripts\bootstrap.ps1` を 1 回実行します（Python 3.11 環境の作成、依存関係のインストール、モデル重みのコピーを行います）
- 04
もう一度 DSH を再起動します
導入成功の確認
- 「用 doraemon 打开记事本，写一行 hello，然后把窗口标题读回来。」と依頼してみます
03DSH 統合と能力の範囲
DSH プラグイン（`dsh-doraemon`）。bootstrap スクリプトが起動する Python カーネルを持ち、UIA・OCR・入力・ブラウザ自動化をツールとして agent に公開します
ウィンドウの列挙とバインド
対象アプリケーションのウィンドウ→以降の観察と操作を紐付けるウィンドウハンドル
UI Automation コントロールツリー
バインドしたウィンドウのネイティブコントロール→コントロールの名前・種類・値・位置
ローカル OCR とアイコン検出
バインドしたウィンドウのスクリーンショット→RapidOCR と YOLO によるテキストとアイコンの位置
マシン上でローカルに実行されます視覚的グラウンディング
文字のないアイコン→アイコンを説明し位置特定を助けるキャプション
アイコン caption を有効にし有効なキーがある場合、注釈付きスクリーンショットとアイコンの切り抜きが DeepSeek API に送信されますデスクトップ入力
エージェントの操作→実際のマウスクリック、キーボード入力、ショートカット、スクロール、ドラッグ
実際のマウスポインタを使い、前面のフォーカスが必要ですウィンドウスコープ選択（任意、既定で無効）
ドッキングされたセレクタで許可したウィンドウやアプリ→CUA の操作を選択したウィンドウに限定
.NET 10 SDK、Avalonia セレクタのローカルビルド、profile の `commandFeedback: true` が必要です
04誰に向いているのか？使うべきでない場面は？
向いている用途
- ファイルやシェルだけでなく、実際のデスクトップソフトを DSH に操作させたい Windows ユーザー
- 1 つの流れでデスクトップアプリとブラウザの両方を扱う人
不向きな用途
- Windows 専用です。Windows 10/11、Node.js 22 以上、DeepSeek Harness、PATH の通った `uv` が必要で、単体で動くデスクトップアシスタントではありません。
- `scripts/bootstrap.ps1` を実行せずにプラグインだけを入れてもカーネルは起動しません。このスクリプトが Python 3.11 環境の作成、依存関係のインストール、モデル重みのコピーを行います。
- プラグインはローカルマシンで実際の操作を行うもので、隔離されたサンドボックスではありません。ファイルの削除や移動をさせる前にバックアップと確認を行ってください。
- 座標操作は実際のマウスを使うため、前面のフォーカス、自前描画の UI、管理者権限のウィンドウに影響されます。すべての Windows アプリを自動化できるわけではありません。
- アイコン caption を有効にし有効なキーがある場合、注釈付きスクリーンショットとアイコンの切り抜きが DeepSeek API に送信されます。OCR とアイコン検出がローカルでも、プラグイン全体を完全オフラインとは言えません。
- 0.4.5〜0.4.7 のリリースには既定で有効なテレメトリが組み込まれ、メタデータを第三者のドメインへ送信していました。0.4.8 で削除されています。
- `effect: "confirmed"` は UI が変化したことだけを示します。タスクが本当に成功したかは、ウィンドウの内容・ダウンロード状態・メッセージ記録から判断してください。
05互換性・メンテナンス・セキュリティ上の注意
- Windows 専用です。Windows 10/11、Node.js 22 以上、DeepSeek Harness、PATH の通った `uv` が必要で、単体で動くデスクトップアシスタントではありません。
- `scripts/bootstrap.ps1` を実行せずにプラグインだけを入れてもカーネルは起動しません。このスクリプトが Python 3.11 環境の作成、依存関係のインストール、モデル重みのコピーを行います。
- プラグインはローカルマシンで実際の操作を行うもので、隔離されたサンドボックスではありません。ファイルの削除や移動をさせる前にバックアップと確認を行ってください。
- 座標操作は実際のマウスを使うため、前面のフォーカス、自前描画の UI、管理者権限のウィンドウに影響されます。すべての Windows アプリを自動化できるわけではありません。
- アイコン caption を有効にし有効なキーがある場合、注釈付きスクリーンショットとアイコンの切り抜きが DeepSeek API に送信されます。OCR とアイコン検出がローカルでも、プラグイン全体を完全オフラインとは言えません。
- 0.4.5〜0.4.7 のリリースには既定で有効なテレメトリが組み込まれ、メタデータを第三者のドメインへ送信していました。0.4.8 で削除されています。
- `effect: "confirmed"` は UI が変化したことだけを示します。タスクが本当に成功したかは、ウィンドウの内容・ダウンロード状態・メッセージ記録から判断してください。
MIT · README の記載のみ、最新リリース v0.4.7、セキュリティ監査なし
06よくある質問
DSH CUA の導入手順は？
DSH の Plugins → Add plugin に `dsh-doraemon@git+https://github.com/Mrkennyhungry/dsh-cua.git#main` を貼って再起動し、インストールされたパッケージのディレクトリで PowerShell から `scripts/bootstrap.ps1` を 1 回実行します。このスクリプトが Python 3.11 環境の作成、依存関係のインストール、モデル重みのコピーを行うため、実行しないとカーネルは起動しません。その後でもう一度 DSH を再起動します。
最初の動作確認はどうすればいい？
README の例は「用 doraemon 打开记事本，写一行 hello，然后把窗口标题读回来。」です。メモ帳のような単純なタスクから始め、ファイルの削除や移動をさせる前にはバックアップと確認を行ってください。
完全にオフラインで動きますか？
いいえ。OCR とアイコン検出はローカルで動きますが、アイコン caption を有効にして有効なキーがある場合、注釈付きスクリーンショットとアイコンの切り抜きが DeepSeek API に送信されます。画像を明示的に読む場合も DSH に設定されたモデルへ渡ることがあります。
特定のウィンドウだけに制限できますか？
任意機能のウィンドウスコープ選択で可能ですが既定では無効です。.NET 10 SDK、`scripts/build-companion-ui.ps1` によるローカルビルド（約 220 MB、リポジトリにビルド済み成果物はありません）、profile の `commandFeedback: true` の 3 つが必要で、どれか欠けるとキャラクターをクリックしても反応しません。
主な制約は？
Windows 10/11、Node.js 22 以上、DSH、PATH の通った `uv` が必要です。座標操作は実際のマウスを使うため、前面のフォーカス、自前描画の UI、管理者権限のウィンドウで自動化が失敗することがあります。`effect: "confirmed"` は UI が変化したことだけを示し、タスク成功を意味しません。
07関連する DSH ワークフロー
open-design
by nexu-io
コーディングエージェントをデザインエンジンとして使い、プロトタイプや LP を生成して HTML/PDF/PPTX/MP4 に書き出すローカルファーストのデスクトップアプリ
mole
by tw93
Mole CLIの機能をDSHスキルとして利用し、ディスク分析、確認付きクリーンアップ、アプリ削除、システム状態確認を行えます。
dsh-desktop
by anywhere-labs
DeepSeek Harness（dsh）プラグインエコシステム向けのモダンなデスクトップクライアント。すべてが「プラグイン」であり、デスクトップそのものもプラグインとして機能します。
picgo
by molunerfinn
画像アップロードツールの定番。Obsidian・Typora・VS Code などに対応し、S3・GitHub・Cloudflare R2・Imgur・Aliyun OSS など 60 以上の画像ホスティングサービスに、ペーストするだけで即アップロードできます。
08データと出典
让 **DeepSeek Harness（DSH）操作 Windows 桌面应用与浏览器**。
仓库名是 `dsh-cua`；安装包名为 **`dsh-doraemon`**。
Windows computer-use plugin for DeepSeek Harness, combining UI Automation (UIA), local OCR, window binding, browser auto…
このページは、プロジェクトの公開ドキュメント、リポジトリのメタデータ、および DSH Plugins の構造化解析に基づいて生成されています。最終検証日：2026-11-11。誤りを見つけた場合は、修正を送信してください。
dsh プラグイン おすすめ
最初に入れたい 12 のプラグイン。全カタログ・全カテゴリから厳選しました。