ディレクトリに戻る

dsh-computer-use

キュレーション掲載メンテナンス: 活発

zrui-c/dsh-computer-use

テキスト優先 PC 制御:CDP/Playwright Chromium + macOS バックグラウンド AX。マウスを奪わない

GitHub で見るホームページ
$ brew tap zrui-c/tap

31

スター

2

フォーク

Swift

言語

Apache-2.0

ライセンス

2026-08-14

作成日

2026-08-14

最終プッシュ

物理ポインターを動かさずにブラウザー自動化とバックグラウンド macOS 制御を行うネイティブ DSH bundle。

DSH 統合

ネイティブ実行

作者による申告

安全性監査

未監査

最終検証日

2026-09-13

ライセンス

Apache-2.0

01どんなタスクに使えるのか?

  • DSH エージェントから Chromium と macOS ウィンドウを、ユーザーのポインターを奪わずに操作する

    セマンティックな ref、ロール、名前、値、状態、ジオメトリを使った限定的なテキスト観測とブラウザー/デスクトップ操作

    macOS 上で対象を絞ったブラウザー自動化やバックグラウンド操作を行う DSH ユーザー

  • DSH からブラウザーのフォーム、ナビゲーション、キーボード、ポインター、スクロール、ドラッグ、アップロードを操作する

    Playwright、CDP のアクセシビリティ/DOM、frames、tabs、任意 OCR の各面で ref 固定の Chromium 操作

    スクリーンショットだけに頼らない DSH ブラウザー自動化を構築する開発者

  • 別のアプリがアクティブなままでもバックグラウンドの macOS アプリを操作する

    対象の AX、SkyLight、CoreGraphics 操作と、元の対象に固定した操作後の観測

    物理ポインターを動かさずに特定ウィンドウを操作したい Mac 自動化ユーザー

02DeepSeek Harness への導入方法

前提条件

  • macOS 14 以降
  • DSH と Google Chrome を事前にインストール
  • Accessibility と Screen Recording を許可

インストール手順

  1. 01

    Homebrew で `brew tap zrui-c/tap`、`brew trust zrui-c/tap`、`brew install --cask dsh-computer-use` を実行

    $ brew tap zrui-c/tap

  2. 02

    Releases から最新の `DSH-Computer-Use-*-universal.dmg` をダウンロードし、DSH Computer Use を Applications に移して起動

  3. 03

    DSH Plugin の Install を選択し、実行中の DSH Host を再起動

導入成功の確認

作者は未記載

03DSH 統合と能力の範囲

DSH 統合ネイティブ実行

DSH のグローバルツール層に computer_observe と computer_action を登録するネイティブ DSH bundle

  • セマンティックなブラウザー観測と操作

    Chromium のページ、タブ、frames、DOM/アクセシビリティ状態、任意の OCR クエリinteractive、full、changes スナップショットと、ナビゲーション、ポインター、キーボード、フォーム、スクロール、ドラッグ、アップロード操作

    ファイルアップロードは DSH セッションのワークスペースに限定
  • バックグラウンド macOS ウィンドウ制御

    macOS のアクセシビリティツリー、セマンティックな不足情報、対象プロセスとウィンドウAX 操作と対象を絞った SkyLight/CoreGraphics 入力。対象がない場合のみグローバル HID

    対象操作では物理ポインターを動かさない
  • 古いターゲットとセマンティック状態への安全策

    最新の観測と 1 件のブラウザーまたはデスクトップ操作1 操作だけを実行して操作後のセマンティック状態を返す。古い ref は fail closed

    ref と座標操作には最新の snapshot_id が必要

04誰に向いているのか?使うべきでない場面は?

向いている用途

  • macOS 上で対象を絞ったブラウザー自動化やバックグラウンド操作を行う DSH ユーザー
  • スクリーンショットだけに頼らない DSH ブラウザー自動化を構築する開発者
  • 物理ポインターを動かさずに特定ウィンドウを操作したい Mac 自動化ユーザー

不向きな用途

  • パッケージ版アプリは macOS 14 以降が必要で、README では DSH と Google Chrome の事前インストールを求めています。
  • 利用には macOS で Accessibility と Screen Recording の許可が必要です。
  • 任意のバックグラウンド入力経路は private SkyLight シンボルを動的に読み込みます。Apple がサポートしない private API であり、macOS のリリース間で変わる可能性があります。
  • UI と OCR の文字列は信頼できないデータとして扱われ、ファイルアップロードは DSH セッションのワークスペースに制限されます。

05互換性・メンテナンス・セキュリティ上の注意

  • パッケージ版アプリは macOS 14 以降が必要で、README では DSH と Google Chrome の事前インストールを求めています。
  • 利用には macOS で Accessibility と Screen Recording の許可が必要です。
  • 任意のバックグラウンド入力経路は private SkyLight シンボルを動的に読み込みます。Apple がサポートしない private API であり、macOS のリリース間で変わる可能性があります。
  • UI と OCR の文字列は信頼できないデータとして扱われ、ファイルアップロードは DSH セッションのワークスペースに制限されます。
2026-08-142026-08-14v0.3.0

Apache-2.0 · latest release v0.3.0 (2026-08-14)

06よくある質問

DSH Computer Use は DeepSeek Harness にどう接続しますか?

パッケージが DSH bundle を宣言し、cordis.patch.yml が Host runtime を導入して computer_observe と computer_action を DSH のグローバルツール層に登録します。セットアップセンターで導入した後、実行中の DSH Host を再起動します。

別の macOS ウィンドウを操作するとマウスは動きますか?

README では、対象を指定したポインターとキーボードイベントは対象プロセス/ウィンドウへ送られ、対象操作では物理ポインターを動かさないと説明しています。対象がない場合のみグローバル HID を使います。

computer_observe は何を返しますか?

browser と desktop に対して interactive、full、changes のスナップショットを返し、クエリフィルターと auto、always、never OCR を指定できます。操作後には新しい限定テキスト観測が返ります。

必要な権限とソフトウェアは何ですか?

macOS 14 以降、DSH、Google Chrome が必要です。Accessibility と Screen Recording を許可し、セットアップセンターで DSH Plugin を Install してから DSH Host を再起動します。

バックグラウンド入力経路は Mac App Store に対応しますか?

対応を想定していません。README では、任意のバックグラウンド入力経路が private SkyLight シンボルを動的に読み込み、Developer ID 配布向けで Mac App Store 向けではないとしています。

08データと出典

  • 作者による申告github.com0b0a0844018b…

    The embedded package declares a DSH bundle in `package.json`.

  • 作者による申告github.com0b0a0844018b…

    `cordis.patch.yml` installs the Host runtime and registers `computer_observe` / `computer_action` in DSH's global tool l…

このページは、プロジェクトの公開ドキュメント、リポジトリのメタデータ、および DSH Plugins の構造化解析に基づいて生成されています。最終検証日:2026-09-13。誤りを見つけた場合は、修正を送信してください。

🏆

dsh プラグイン おすすめ

最初に入れたい 12 のプラグイン。全カタログ・全カテゴリから厳選しました。

DSH Plugins は DeepSeek Harness プラグインの独立したコミュニティ ディレクトリです。DeepSeek との提携・公認はありません。サードパーティ製プラグインはセキュリティ監査を受けていません。インストール前にソースコードをご確認ください。

DeepSeek Harnessの新着プラグインを毎週お届け。スパムはありません。