DSH 評測門檻：用 YAML 用例驅動真實 headless agent，斷言 session trace 並與 baseline 比對給出 CI 結束碼——只從 GitHub 安裝，倉庫未宣告 license、也沒有 release tag。
DSH 整合
原生執行環境
作者聲明
安全稽核
未稽核
最後核實
2026-11-13
授權條款
作者未說明
01它能幫你完成什麼？
在發佈前替 DSH 外掛 / skill 裝一道回歸評測門檻
每次執行產出 report.json + report.md，並由 baseline 比對給出 CI 結束碼（OVERALL=PASS|WARN|FAIL|N/A）
需要攔住 prompt、工具與協定回歸的 DSH 外掛 / skill 作者
對真實 agent 的 session trace 做斷言，而不是只比對回答文字
每條用例獨占 workspace 與 session 寫入磁碟目錄，斷言涵蓋 turn_end、工具呼叫順序、工具結果、step/token 上限與可選的 LLM judge
想證明工具真的被呼叫、並回傳了預期內容的開發者
不花 API key 也能離線跑協定故障回歸
確定性的 F0-F5 故障矩陣用例，外加兩條 mock 哨兵——儀表壞了就回報 `healthy: false`
要替串流異常路徑做零成本、不 flaky 門檻的 CI 維護者
02如何將外掛接入 DeepSeek Harness？
先決條件
- 可用的 `dsh` CLI——每條用例都會 fork 一個 `dsh --profile headless --patch <overlay> <prompt>` 子行程
- 真實模型評測需要模型憑證；倉庫自己的 CI 透過 `DEEPSEEK_API_KEY` secret 傳入
安裝步驟
- 01
`dsh plugin --profile headless add github:BiBoyang/dsh-eval-harness` 從 GitHub 原始碼安裝——npm 通路已廢棄，registry 上停在 0.3.1
$ dsh plugin --profile headless add github:BiBoyang/dsh-eval-harness
驗證整合成功
- `dsh --profile headless --dump-config | grep dsh-eval-harness` 能查到該外掛
03DSH 整合程度與能力邊界
裝在 headless profile 裡的 DSH 外掛：四個工具（eval_run / eval_gate / eval_judge_validate / eval_tps_run）加一個 `eval` skill，由 YAML 用例驅動
eval_run —— headless 評測執行器
cases_dir 下的 *.yml 用例（prompt + 斷言，可選 mock / plugins / trials）→report.json + report.md：用例狀態、attempt 歷史、token 分欄統計與可靠性
每條用例 fork 一個 `dsh --profile headless` 子行程，並寫入隔離的 session 根與 workspace在輸出目錄產生 `eval-overlay-*.patch.yml`eval_gate —— baseline 門檻
before（baseline 的 report.json）與 after（本次 report.json）→OVERALL / EXIT_CODE 的 key=value 文字行，或給 CI 用的單筆 JSON 判定
eval_judge_validate —— judge 校準
人工標註的 JSONL（每行 `rubric` / `output` / `expect`）→混淆矩陣，TPR 與 TNR 分開回報，外加 `calibrated` 判定
逐筆呼叫 judge，需要 `EVAL_JUDGE_API_KEY` 或 `DEEPSEEK_API_KEY`eval_tps_run —— 長上下文 TPS 橫評
tps.yml（模型、名目上下文階梯、重複次數、budget_tokens）→擬合的 tps(n)=1/(a+b·n)、半速點 n½ 與橫評表
向 OpenAI 相容端點發真實串流請求，並消耗宣告的 token 預算嚴格串列執行，計畫估算超預算時直接拒絕執行`eval` skill
教模型用例格式、斷言寫法與內建 YAML 子集的解析限制
04適合誰？何時不該用？
適合
- 需要攔住 prompt、工具與協定回歸的 DSH 外掛 / skill 作者
- 想證明工具真的被呼叫、並回傳了預期內容的開發者
- 要替串流異常路徑做零成本、不 flaky 門檻的 CI 維護者
不適合
- npm 通路已廢棄：registry 上的版本停在 0.3.1，README 明確說不要從 npm 安裝，發佈只走 GitHub。
- 宣告 `mock.plugins` 即授權被測外掛的安裝期建置腳本在本機執行（任意程式碼執行）——只宣告信得過原始碼的外掛，並鎖定版本或 commit。
- mock 模式只涵蓋結構性斷言與協定故障路徑；`output_judge` 語意評審和任何依賴真實模型能力的用例仍需真實 API，mock 不是全面斷網方案。
05相容性、維護與安全提醒
- npm 通路已廢棄：registry 上的版本停在 0.3.1，README 明確說不要從 npm 安裝，發佈只走 GitHub。
- 宣告 `mock.plugins` 即授權被測外掛的安裝期建置腳本在本機執行（任意程式碼執行）——只宣告信得過原始碼的外掛，並鎖定版本或 commit。
- 安裝 `mock.plugins` 宣告的 spec 需要網路（本工具不做離線安裝）；真實模型用例還需要模型端點與 `DEEPSEEK_API_KEY`。
- mock 模式只涵蓋結構性斷言與協定故障路徑；`output_judge` 語意評審和任何依賴真實模型能力的用例仍需真實 API，mock 不是全面斷網方案。
未宣告 license · 沒有 release tag（npm 通路已廢棄，只走 GitHub 發佈）· 僅 README 證據，未做安全稽核
06常見問題
怎麼把它裝進 DeepSeek Harness？
只從 GitHub 安裝：`dsh plugin --profile headless add github:BiBoyang/dsh-eval-harness`，再用 `dsh --profile headless --dump-config | grep dsh-eval-harness` 確認掛載。npm 通路已廢棄——registry 上的版本停在 0.3.1，README 明確不要從 npm 安裝；倉庫也沒有宣告 license，也沒有 release tag。
eval_run 在 DSH 裡到底做了什麼？
對每條用例 fork 一個 `dsh --profile headless --patch <overlay> <prompt>` 子行程，跑在獨立 workspace 與獨立 session 目錄裡，解析寫入磁碟的 `session.jsonl` / `session.jsonl.zstd` trace，執行斷言，寫出 report.json + report.md。per-case 的 `--patch` overlay 把工作階段寫入磁碟切到隔離根，所以用例可以平行跑，也不會碰你真實的 `~/.dsh`。
沒有 API key 也能在 CI 裡跑門檻嗎？
帶 `mock:` 段的用例會在 127.0.0.1 隨機埠開一個臨時 mock provider，產生隔離的 `DSH_HOME`，依 F0-F5 故障矩陣回放，因此 chaos 包可以完全離線跑。但 `output_judge` 語意評審與依賴真實模型能力的用例仍需真實端點與 key。
宣告 mock.plugins 會在本機執行第三方程式碼嗎？
會。eval_run 用 dsh 自己的安裝器（`dsh plugin --profile headless add <spec>`）逐個安裝宣告的 spec，這等於授權這些外掛的安裝期建置腳本在本機執行。只宣告信得過原始碼的外掛，並鎖定版本或 commit——README 明確寫了這條風險語意。
eval_gate 怎麼判 PASS / WARN / FAIL？
拿本次報告與 baseline 比對：PASS 變 FAIL/error、新增 FAIL/error 用例、baseline 有而本次缺席的用例判 FAIL（結束碼 1）；改善、token total 漲幅超門檻、新增 flaky、新增工具錯誤自癒判 WARN（結束碼 0，strict 為 2）；沒有 baseline 判 N/A（結束碼 2）。mock 哨兵一旦破，與 baseline 無關直接判 FAIL。
07相關的 DSH 工作流程
dsh-our-free-model
作者 ebony-vinyl
在 dsh 里装上这个插件即可，无需登录、注册或填 API Key，就能使用包括 DeepSeek V4.1 Flash、Kimi K3 在内的前沿模型——完全免费，不限量。 All you do is install this plugin in dsh: no login, no sign-up, no API key — the frontier models are just there, DeepSeek V4.1 Flash and Kimi K3 among them. Completely free, with no usage cap.
dsh-routing-suite
作者 yjh051108
DeepSeek Harness（dsh）路由套件：先装运行时注入器，再加载任务感知的推理模式路由预设（已实测 P1-P23）。
dsh-ops
作者 t-auto
A toolkit for low-level operations in DSH, designed to reduce token usage and task execution time / DSH 底层操作工具插件，旨在减少 Token 消耗与任务耗时
brooks-lint
作者 hyhmrright
基于 12 本经典工程书籍的 AI 代码评审工具，提供腐化风险诊断、书籍引用、严重度标签及 6 种分析模式。
08資料與來源
DSH 插件/skill 作者的回归评测门禁：写 yaml 用例 → headless 驱动真实 agent 跑 → 解析 session trace 断言 → 对比 baseline 出 PASS/WARN/FAIL 报告与 CI 退出码…
| `eval_run` | 跑 cases_dir 下全部用例：headless 驱动真实 agent → 采集 session trace → 断言 → 写 report.json/report.md |
| `eval_gate` | 对比 baseline 与本次报告，输出门禁判定（OVERALL/EXIT_CODE），strict 模式收紧 WARN 退出码 |
此頁面根據專案公開文件、儲存庫中繼資料與 DSH Plugins 的結構化解析所產生；最後核實於 2026-11-13。發現錯誤？提交更正。
最佳 DeepSeek Harness 外掛
從全目錄挑出的 12 個值得優先安裝的外掛，涵蓋各個分類。