YAML ケースで実際の headless agent を走らせ、session trace を検証して baseline と比較し CI 終了コードを出す DSH 評価ゲート。GitHub からのみ導入でき、license の宣言もリリースタグもありません。
DSH 統合
ネイティブ実行
作者による申告
安全性監査
未監査
最終検証日
2026-11-13
ライセンス
作者は未記載
01どんなタスクに使えるのか？
リリース前に DSH プラグイン / スキルへ回帰評価ゲートを付ける
実行ごとに report.json + report.md を出力し、baseline 比較から CI 終了コード（OVERALL=PASS|WARN|FAIL|N/A）を返します
prompt・ツール・プロトコルの回帰を止めたい DSH プラグイン / スキル作者
回答テキストではなく、実 agent の session trace を検証する
ケースごとに独立した workspace とセッション保存ディレクトリを持ち、turn_end・ツール呼び出し順・ツール結果・step/token 上限・任意の LLM judge を検証します
ツールが本当に呼ばれ、期待どおりの内容を返したことを示したい開発者
API キーなしでプロトコル障害の回帰をオフライン実行する
決定論的な F0-F5 障害マトリクスのケースと、計器が壊れたら `healthy: false` を返す 2 つの mock センチネル
ストリーミング異常系にゼロコストで flaky しないゲートを敷きたい CI 担当者
02DeepSeek Harness への導入方法
前提条件
- 動作する `dsh` CLI — 各ケースは `dsh --profile headless --patch <overlay> <prompt>` を fork します
- 実モデルでの評価にはモデルの資格情報が必要です。リポジトリの CI は `DEEPSEEK_API_KEY` シークレットで渡しています
インストール手順
- 01
`dsh plugin --profile headless add github:BiBoyang/dsh-eval-harness` — GitHub のソースから導入します。npm チャネルは廃止済みで 0.3.1 のままです
$ dsh plugin --profile headless add github:BiBoyang/dsh-eval-harness
導入成功の確認
- `dsh --profile headless --dump-config | grep dsh-eval-harness` でプラグインが確認できます
03DSH 統合と能力の範囲
headless profile に入れる DSH プラグイン。4 つのツール（eval_run / eval_gate / eval_judge_validate / eval_tps_run）と `eval` スキルを提供し、YAML ケースで駆動します
eval_run — headless 評価ランナー
cases_dir 配下の *.yml ケース（prompt + アサーション、任意で mock / plugins / trials）→report.json + report.md（ケース状態、attempt 履歴、token の内訳、信頼性）
ケースごとに `dsh --profile headless` の子プロセスを fork し、隔離したセッションルートと workspace を書き込みます出力ディレクトリに `eval-overlay-*.patch.yml` を生成しますeval_gate — baseline ゲート
before（baseline の report.json）と after（今回の report.json）→OVERALL / EXIT_CODE の key=value 行、または CI 向けの単一 JSON 判定
eval_judge_validate — LLM judge のキャリブレーション
手作業でラベル付けした JSONL（`rubric` / `output` / `expect`）→混同行列と、TPR / TNR を分けて報告する `calibrated` 判定
ラベルごとに judge を呼ぶため、`EVAL_JUDGE_API_KEY` か `DEEPSEEK_API_KEY` が必要ですeval_tps_run — 長文脈 TPS の横断測定
tps.yml（モデル、名目コンテキスト段階、繰り返し回数、budget_tokens）→フィットした tps(n)=1/(a+b·n)、半速点 n½、横断比較表
OpenAI 互換エンドポイントへ実際のストリーミングリクエストを送り、宣言した token 予算を消費します厳密に直列実行し、計画段階で予算超過なら実行を拒否します`eval` スキル
ケース形式、アサーションの書き方、内蔵 YAML サブセットの解析制約をモデルに教えます
04誰に向いているのか？使うべきでない場面は？
向いている用途
- prompt・ツール・プロトコルの回帰を止めたい DSH プラグイン / スキル作者
- ツールが本当に呼ばれ、期待どおりの内容を返したことを示したい開発者
- ストリーミング異常系にゼロコストで flaky しないゲートを敷きたい CI 担当者
不向きな用途
- npm チャネルは廃止済みです。registry の版は 0.3.1 のままで、README は npm からの導入を禁じています。配布は GitHub のみです。
- `mock.plugins` を宣言すると、被測プラグインのインストール時ビルドスクリプトをこのマシンで実行することを許可します（任意コード実行）。ソースを信頼できるプラグインだけを宣言し、バージョンか commit を固定してください。
- mock モードが覆うのは構造的なアサーションとプロトコル障害経路だけです。`output_judge` の意味評価や実モデル能力に依存するケースには実際の API が必要で、mock は全面オフラインの代替にはなりません。
05互換性・メンテナンス・セキュリティ上の注意
- npm チャネルは廃止済みです。registry の版は 0.3.1 のままで、README は npm からの導入を禁じています。配布は GitHub のみです。
- `mock.plugins` を宣言すると、被測プラグインのインストール時ビルドスクリプトをこのマシンで実行することを許可します（任意コード実行）。ソースを信頼できるプラグインだけを宣言し、バージョンか commit を固定してください。
- `mock.plugins` の spec 導入にはネットワークが必要です（本ツールはオフライン導入を行いません）。実モデルのケースにはモデルのエンドポイントと `DEEPSEEK_API_KEY` も必要です。
- mock モードが覆うのは構造的なアサーションとプロトコル障害経路だけです。`output_judge` の意味評価や実モデル能力に依存するケースには実際の API が必要で、mock は全面オフラインの代替にはなりません。
license 未宣言 · リリースタグなし（npm チャネル廃止、GitHub 配布のみ）· README の記載のみでセキュリティ監査なし
06よくある質問
DeepSeek Harness へはどう導入しますか？
GitHub からのみ導入します。`dsh plugin --profile headless add github:BiBoyang/dsh-eval-harness` を実行し、`dsh --profile headless --dump-config | grep dsh-eval-harness` でマウントを確認します。npm チャネルは廃止済みで registry の版は 0.3.1 のまま、README も npm からの導入を禁じています。license の宣言もリリースタグもありません。
eval_run は DSH の中で何をするのですか？
ケースごとに `dsh --profile headless --patch <overlay> <prompt>` の子プロセスを独立した workspace とセッションディレクトリで fork し、保存された `session.jsonl` / `session.jsonl.zstd` の trace を解析してアサーションを実行し、report.json + report.md を書き出します。ケース単位の `--patch` overlay がセッション永続化を隔離ルートへ切り替えるため、実際の `~/.dsh` に触れず並列実行できます。
API キーなしで CI のゲートを回せますか？
`mock:` を持つケースは 127.0.0.1 のランダムポートで一時的な mock provider を起動し、隔離した `DSH_HOME` を生成して F0-F5 の障害マトリクスを再生するため、chaos パッケージは完全にオフラインで動きます。ただし `output_judge` の意味評価や実モデル能力に依存するケースには実際のエンドポイントとキーが必要です。
mock.plugins の宣言はサードパーティコードを実行しますか？
実行します。eval_run は dsh 自身のインストーラ（`dsh plugin --profile headless add <spec>`）で宣言された spec を導入するため、そのプラグインのインストール時ビルドスクリプトがこのマシンで走ることを許可したことになります。ソースを信頼できるプラグインだけを宣言し、バージョンか commit を固定してください。README もこのリスクを明記しています。
eval_gate は PASS / WARN / FAIL をどう判定しますか？
今回のレポートを baseline と比較します。PASS から FAIL/error への変化、新規の FAIL/error ケース、baseline にあって今回欠けたケースは FAIL（終了コード 1）。改善、token total の増加、新規 flaky、新規のツールエラー自己回復は WARN（終了コード 0、strict では 2）。baseline がなければ N/A（終了コード 2）です。mock センチネルが破れた場合は baseline に関係なく FAIL になります。
07関連する DSH ワークフロー
dsh-our-free-model
by ebony-vinyl
Adds model choices, availability checks, usage panels, and a local OpenAI-compatible forwarder.
dsh-routing-suite
by yjh051108
dsh-routing-suite — injector + router-standard kit: install the runtime injector first, then the task-aware reasoning-mode router preset (measured P1-P23).
dsh-ops
by t-auto
Run Bash and PowerShell commands, search and edit local files, and manage long-running background jobs from DSH.
brooks-lint
by hyhmrright
Portable AI code quality reviews for Codex, Cursor, Copilot and other coding agents: six Agent Skills for architecture, technical debt, tests and remediation.
08データと出典
DSH 插件/skill 作者的回归评测门禁：写 yaml 用例 → headless 驱动真实 agent 跑 → 解析 session trace 断言 → 对比 baseline 出 PASS/WARN/FAIL 报告与 CI 退出码…
| `eval_run` | 跑 cases_dir 下全部用例：headless 驱动真实 agent → 采集 session trace → 断言 → 写 report.json/report.md |
| `eval_gate` | 对比 baseline 与本次报告，输出门禁判定（OVERALL/EXIT_CODE），strict 模式收紧 WARN 退出码 |
このページは、プロジェクトの公開ドキュメント、リポジトリのメタデータ、および DSH Plugins の構造化解析に基づいて生成されています。最終検証日：2026-11-13。誤りを見つけた場合は、修正を送信してください。
dsh プラグイン おすすめ
最初に入れたい 12 のプラグイン。全カタログ・全カテゴリから厳選しました。