MIT ライセンスのビジョンツールキット。テキスト専用エージェントに画像理解を提供し、dsh-vision-toolkit Profile Bundle で DeepSeek Harness にネイティブ接続。シェル実行可能なあらゆるエージェントでも利用可能。
DSH 統合
ネイティブ実行
作者による申告
安全性監査
未監査
最終検証日
2026-08-21
ライセンス
MIT
01どんなタスクに使えるのか？
Give a text-only coding agent (e.g. DeepSeek) working vision: image Q&A, OCR of long screenshots and chat histories
Task-aware image answers, transcribed text, and merged OCR of scrolling pages with speaker/timestamp preservation
Developers running text-only models such as DeepSeek who need image understanding without switching to a multimodal model
Rebuild UI pages, infographics, icons and diagrams from screenshots or sketches into editable code
HTML/CSS reconstructions, transparent PNG extractions, editable SVG, and structured Mermaid/Graphviz representations
Frontend developers and designers who want agent-driven screenshot-to-code / sketch-to-interface restoration
Operate a GUI from screenshots: locate controls, act, and verify the resulting state
Pixel-coordinate grounding of controls and a verify-after-each-action automation loop
Automation engineers who need screen-element grounding (e.g. `ground`/`detect`) for GUI control with a text-only agent
02DeepSeek Harness への導入方法
前提条件
- A coding agent already working with a model, including a text-only model such as DeepSeek V4
- A multimodal vision API supporting OpenAI Chat Completions, OpenAI Responses, or Anthropic Messages, plus its base URL, API key, and model name
- Python 3.11+ for `glance`; optional `pillow` for `ground`/`detect`/`crop` and the long-screenshot OCR playbook, `pillow` + `numpy` for `trace`
インストール手順
- 01
Point it at a vision API — write three env vars (`VISION_API_KEY`, `VISION_BASE_URL`, `VISION_MODEL`) to `~/.config/agent-vision-toolkit/env` (`chmod 600`)
- 02
Put the CLIs on your PATH: `git clone https://github.com/Anionex/agent-vision-toolkit.git` then `export PATH="$PWD/agent-vision-toolkit/bin:$PATH"` (add to your shell profile to persist)
$ git clone https://github.com/Anionex/agent-vision-toolkit.git
- 03
Install the skill so your agent knows the tools exist: `npx skills add Anionex/agent-vision-toolkit --skill vision-skills -a codex -g --copy -y`, or copy `skills/vision-skills/` into your agent's skills directory (e.g. `~/.codex/skills/`) and restart the agent
$ npx skills add Anionex/agent-vision-toolkit --skill vision-skills -a codex -g --copy -y
- 04
Optional seamless integration: follow AGENT_INSTALL.md to install the transparent local proxy (Codex / Claude Code) or single-file native extension/plugin (Pi, Oh My Pi, OpenCode); for native DSH support use the linked `dsh-vision-toolkit` package (clone with `--recurse-submodules` or run `git submodule update --init --recursive`)
$ git submodule update --init --recursive
導入成功の確認
- After installing the optional integration and restarting the agent, paste an image directly or let the model call its built-in image tool
03DSH 統合と能力の範囲
Native DSH Profile Bundle via the linked `dsh-vision-toolkit` package (tracked as a Git submodule); the standalone CLIs and `vision-skills` skill also run in any shell-capable agent
glance — intent-aware image Q&A and OCR
an image file plus a question (or `--ocr`)→task-aware answers or transcribed text, focused on the current step's intent instead of a generic description
sends the image and focus hint to the configured external multimodal vision APIground / detect — pixel-coordinate localization
an image plus a target description (optionally `--region`)→bounding boxes in original pixel coordinates; numbered element inventories with exact visible text
sends the image to the configured external multimodal vision APItrace / crop — deterministic SVG fitting and region cropping
a flat, high-contrast graphic (or a pixel box for `crop`)→editable SVG primitives (`<circle>`, `<line>`, `<polyline>`, `<polygon>`) fitted locally; cropped region files for reuse
writes output files (SVG / cropped images) to diskSeamless integration — transparent local proxy / native extensions
agent requests containing pasted images or built-in image tool calls→images replaced with task-aware text descriptions before reaching the text-only upstream, with no extra prompting
runs a local proxy at 127.0.0.1:19100 and forwards requests (including the original Authorization header) to your existing upstream
04誰に向いているのか？使うべきでない場面は？
向いている用途
- Developers running text-only models such as DeepSeek who need image understanding without switching to a multimodal model
- Frontend developers and designers who want agent-driven screenshot-to-code / sketch-to-interface restoration
- Automation engineers who need screen-element grounding (e.g. `ground`/`detect`) for GUI control with a text-only agent
不向きな用途
- This is an image-to-text layer — it doesn't hand vision tokens directly to the text model, and overall visual-task quality is determined jointly by the primary LLM and the multimodal LLM.
05互換性・メンテナンス・セキュリティ上の注意
- This is an image-to-text layer — it doesn't hand vision tokens directly to the text model, and overall visual-task quality is determined jointly by the primary LLM and the multimodal LLM.
- Requires an external multimodal API (OpenAI Chat Completions / Responses / Anthropic Messages) with its own base URL, API key, and model name; images leave your machine to that endpoint.
- The proxy's cache lives only inside its process and is cleared on restart.
MIT · actively maintained (latest release v0.2.0, 2026-08-14)
06よくある質問
agent-vision-toolkit を DeepSeek Harness にどう接続しますか？
連携パッケージの `dsh-vision-toolkit` を使います。これは DSH の Web / Headless プロファイル向けネイティブ Profile Bundle で、10 個の構造化ビジュアルツール、DSH Credentials、管理された分離ランタイム、エージェントスコープの段階的ツール公開を備えます。Git サブモジュールとして管理されているため、`--recurse-submodules` 付きでクローンするか、既存のチェックアウトで `git submodule update --init --recursive` を実行してください。
DSH 統合はネイティブですか、それとも MCP 経由ですか？
ネイティブです。`dsh-vision-toolkit` は Profile Bundle として DSH 内でネイティブに動作し、MCP は使いません。それとは別に、基本ツールキットの CLI はシェルを呼び出せる任意のエージェントからそのまま利用でき、追加の統合は不要です。
必要な前提条件は何ですか？
モデルと動作中のコーディングエージェント（DeepSeek V4 のようなテキスト専用モデルで可）と、OpenAI Chat Completions / Responses / Anthropic Messages をサポートするマルチモーダル Vision API（ベース URL、API キー、モデル名）が必要です。`glance` は Python 3.11 以上、`ground`/`detect`/`crop` は `pillow`、`trace` は `pillow` + `numpy` が必要です。
画像やデータはどこに送信されますか？
画像の内容とタスクのフォーカスヒントは、`VISION_BASE_URL` に設定したマルチモーダル Vision API に送信されます。オプションのローカルプロキシ（127.0.0.1:19100）は既存の上流 Authorization ヘッダーを変更せずそのまま転送し、上流の API キーを別途保存することはありません。
どのような制限がありますか？
これは画像をテキストに変換するレイヤーであり、ビジョントークンをテキストモデルに直接渡すものではありません。視覚タスクの品質はメイン LLM とマルチモーダル LLM の両方に依存します。プロキシのキャッシュはプロセス内のみで、再起動時に消去されます。
07関連する DSH ワークフロー
modlens
by liustack
DeepSeek Harness 用のビジョンプラグイン。DeepSeek や GLM などのテキスト専用モデルに画像認識を外付けし、画像を貼るだけで OCR・レイアウト・意味情報を構造化 JSON として取得
dsh-vision-router
by ysr666
テキスト専用 DeepSeek Harness エージェントに目を与えるプラグイン。キー不要の無料ビジョンチェーン内蔵に加え、QA、グラウンディング、切り抜き、OCR などのツールをワンコマンドで導入可能
dsh-vision-toolkit
by anionex
テキスト専用 DSH エージェントに 10 個の構造化ビジョンツールを提供。意図を意識した画像 QA、長いスクリーンショットの OCR、ピクセルレベルのグラウンディング、UI 復元、ピクセル差分など
dsh-image-gen
by shanliuling
DeepSeek Harness チャット内で直接画像生成
08データと出典
The new [`dsh-vision-toolkit`](https://github.com/Anionex/dsh-vision-toolkit) linked package brings this toolkit into DS…
It provides 10 structured visual tools for intent-aware image Q&A, grounding, detection, tracing, cropping, pixel diff,…
The package is tracked here as a Git submodule and maintained independently at [`Anionex/dsh-vision-toolkit`](https://gi…
このページは、プロジェクトの公開ドキュメント、リポジトリのメタデータ、および DSH Plugins の構造化解析に基づいて生成されています。最終検証日：2026-08-21。誤りを見つけた場合は、修正を送信してください。
dsh プラグイン おすすめ
最初に入れたい 12 のプラグイン。全カタログ・全カテゴリから厳選しました。