ディレクトリに戻る

dsh-vision

キュレーション掲載メンテナンス: 活発

william-jin-cmu/dsh-vision

view_image ツールでテキスト専用 DeepSeek を OpenAI 互換 VLM に橋渡し(OCR、チャート、UI レイアウト)

GitHub で見る
$ git clone https://github.com/dsh-external/dsh-vision ~/dsh-plugins/dsh-vision

30

スター

5

フォーク

TypeScript

言語

BSD-3-Clause

ライセンス

2026-08-05

作成日

2026-08-13

最終プッシュ

dsh にネイティブにマウントする視覚プラグイン:view_image ツールを登録し、画像と質問を任意の OpenAI 互換 VLM に転送して回答をテキストで返す。web/TUI/リモートの全エントリが同時に視覚を得る。

DSH 統合

ネイティブ実行

作者による申告

安全性監査

未監査

最終検証日

2026-09-03

ライセンス

BSD-3-Clause

01どんなタスクに使えるのか?

  • Let text-only DeepSeek answer visual questions about images (OCR, counting, chart reading, UI layout)

    A `view_image` tool the model calls with an image path and a question; returns the answer as text

    DeepSeek Harness (dsh) users who need vision on a text-only model across web / TUI / remote channels

  • Route image understanding to any OpenAI-compatible VLM backend (free Zhipu, Qwen, Doubao, local Ollama)

    Configurable baseURL + apiKey + model; automatic free-tier fallback chain keeps zero-config answers working

    Users who want to keep their own BYOK / local VLM endpoint instead of a paid hosted vision service

02DeepSeek Harness への導入方法

前提条件

  • DeepSeek Harness (dsh) installed and on PATH
  • A VLM endpoint (default uses free Zhipu glm-4.6v-flash; other backends need an API key or a local endpoint)

インストール手順

  1. 01

    Clone the plugin: `git clone https://github.com/dsh-external/dsh-vision ~/dsh-plugins/dsh-vision`

    $ git clone https://github.com/dsh-external/dsh-vision ~/dsh-plugins/dsh-vision

  2. 02

    Symlink host dependencies (@deepseek-ai/dsh-tools and schemastery) into the plugin's node_modules

  3. 03

    Append the mount block to ~/.dsh/config.yaml and restart dsh

導入成功の確認

  • Ask dsh about an image, e.g. "what error is in ~/Desktop/error.png"; the model should call view_image and return text

03DSH 統合と能力の範囲

DSH 統合ネイティブ実行

dsh の個人設定オーバーレイ(~/.dsh/config.yaml)へネイティブにマウント。サードパーティ管理ツールに依存せず、ネイティブな cordis プラグインとして動作する。

  • view_image tool

    image path / URL + natural-language question→text answer returned to the model

  • Multi-backend routing

    configured baseURL + apiKey + model→forwards image + question to the VLM endpoint, returns text

    sends image data to an external OpenAI-compatible VLM endpoint (or a local endpoint)
  • Free-tier fallback chain

    rate-limited default model (HTTP 429)→auto-downgrades glm-4.6v-flash → glm-4.1v-thinking-flash → glm-4v-flash

  • Zero-dependency cordis bridge

    OpenAI-compatible /chat/completions + image_url→native TypeScript cordis plugin, no Python / uv / MCP

    strips <think> reasoning blocks from thinking modelsauto-redacts API key in error messages

04誰に向いているのか?使うべきでない場面は?

向いている用途

  • DeepSeek Harness (dsh) users who need vision on a text-only model across web / TUI / remote channels
  • Users who want to keep their own BYOK / local VLM endpoint instead of a paid hosted vision service

不向きな用途

  • Before marisa#2 is fixed, you must manually symlink the host dsh node_modules (@deepseek-ai/dsh-tools and schemastery) or the plugin fails to load.

05互換性・メンテナンス・セキュリティ上の注意

  • Images are forwarded to an external OpenAI-compatible VLM endpoint, so the plugin needs network access and (for non-local backends) an API key. Localhost endpoints need no key.
  • Before marisa#2 is fixed, you must manually symlink the host dsh node_modules (@deepseek-ai/dsh-tools and schemastery) or the plugin fails to load.
  • Zhipu's free model is rate-limited (429) on a shared pool; the plugin auto-downgrades across three free models to keep zero-config answers working.
2026-08-052026-08-13作者は未記載

BSD-3-Clause · no releases yet (curated; latest push 2026-08-13)

06よくある質問

dsh-vision は何をしますか?

view_image というツールを登録し、テキストのみの DeepSeek でも画像を見られるようにします。OCR、カウント、图表読み取り、UI レイアウトなど任意の視覚的質問について、画像と質問を任意の OpenAI 互換 VLM に転送し、回答をテキストで返します。

どうやってインストールしますか?

既定はネイティブ マウントです:リポジトリを clone し、ホスト dsh の node_modules(@deepseek-ai/dsh-tools と schemastery)をプラグインへシンボリックリンクし、マウントブロックを ~/.dsh/config.yaml に追記して dsh を再起動します。DSH Companion には標準同梱でゼロインストールです。

どの視覚バックエンドに対応していますか?

任意の OpenAI 互換 VLM に対応:Zhipu の glm-4.6v-flash(既定無料)、Qwen vl シリーズ、Doubao Seed、ローカル Ollama など。baseURL+apiKey+model の一组で全てカバー。ローカル エンドポイントは key 不要です。

無料枠がレート制限されたら?

既定設定では glm-4.6v-flash → glm-4.1v-thinking-flash → glm-4v-flash へ自動的にフォールバックし、ゼロ設定でも必ず回答を得られます。fallbackModels で上書き可能です。

08データと出典

  • 作者による申告github.com72978aa176df…

    给纯文本的 DeepSeek 加上眼睛。Vision for text-only DeepSeek.

  • 作者による申告github.com72978aa176df…

    本插件注册一个 `view_image` 工具:模型带着问题调用它(OCR、数数、读图表、看 UI 布局……任意视觉问题)

このページは、プロジェクトの公開ドキュメント、リポジトリのメタデータ、および DSH Plugins の構造化解析に基づいて生成されています。最終検証日:2026-09-03。誤りを見つけた場合は、修正を送信してください。

🏆

dsh プラグイン おすすめ

最初に入れたい 12 のプラグイン。全カタログ・全カテゴリから厳選しました。

広告

DSH Plugins は DeepSeek Harness プラグインの独立したコミュニティ ディレクトリです。DeepSeek との提携・公認はありません。サードパーティ製プラグインはセキュリティ監査を受けていません。インストール前にソースコードをご確認ください。

DeepSeek Harnessの新着プラグインを毎週お届け。スパムはありません。