返回目录

dsh-video-lens

编辑精选维护状态: 活跃

dundunhan/dsh-video-lens

让纯文本 DSH 代理理解本地视频:帧提取加视觉描述与语音转写,提供商可配置

前往 GitHub
$ dsh plugin add dsh-video-lens

72

星标

2

Fork

JavaScript

语言

MIT

许可证

2026-08-18

创建于

2026-08-18

最近推送

原生 DSH 插件,让纯文本智能体查看视频元数据、配合可选 ASR 理解画面,并回答带时间锚点的问题——全部走 OpenAI 兼容的视觉/ASR 接口,无厂商锁定。

DSH 适配

原生运行时

作者声明

安全审计

未审计

最后核验

2026-08-30

许可证

MIT

01它能帮你完成什么?

  • Inspect a local video's technical specs before deeper analysis

    Compact metadata JSON via `video_probe`: container, duration, resolution, fps, codecs, audio tracks, subtitles

    Text-only DSH agents and developers who need cheap, instant video metadata without decoding frames

  • Understand video content and answer time-anchored questions for text-only DSH agents

    Structured evidence JSON from scene-change-aware frame sampling plus optional timestamped ASR; `video_ask` returns grounded answers with confidence and supporting timestamps

    DSH agents that must reason about scenes, speech, or specific moments (e.g. "at 3:20") in local video

02如何接入 DeepSeek Harness?

作者未说明

03DSH 适配与能力边界

DSH 适配原生运行时

Native DSH plugin — text-only agents call `video_probe` / `video_analyze` / `video_ask` tools; vision & ASR use OpenAI-compatible `baseUrl` + `model` + key endpoints.

  • video_probe — instant metadata

    local video file pathcompact metadata JSON: container, duration, resolution, fps, codecs, audio tracks, subtitles

  • video_analyze — content understanding

    local video file; optional ASR key env varstructured evidence JSON from scene-change-aware frame sampling fused with an OpenAI-compatible vision model; optional timestamped ASR transcript

  • video_ask — time-anchored Q&A

    a prior analysis / transcript plus a natural-language question with time referencesgrounded answer with confidence and supporting timestamps, re-sampling frames from the matched windows

04适合谁?何时不该用?

适合

  • Text-only DSH agents and developers who need cheap, instant video metadata without decoding frames
  • DSH agents that must reason about scenes, speech, or specific moments (e.g. "at 3:20") in local video

不适合

  • Requires `ffmpeg` and `ffprobe` on `PATH`; the plugin delegates all media work to them and does no native decoding.

05兼容性、维护与安全提示

  • Scene-change detection requires ffmpeg ≥ 6.0 (the `scdet` filter); videos without detectable cuts fall back to uniform midpoint sampling.
  • Requires `ffmpeg` and `ffprobe` on `PATH`; the plugin delegates all media work to them and does no native decoding.
  • ASR is strictly additive: if `asrApiKeyEnv` is unset or the provider fails, visual analysis still completes and `transcript` is `null`.
2026-08-182026-08-18v0.3.1

MIT license · latest release v0.3.1 (published 2026-08-18) · default branch main

06常见问题

如何为 DeepSeek Harness 安装 dsh-video-lens?

公开 README 确认插件需要 `ffmpeg` 和 `ffprobe` 在 `PATH` 中(场景切换检测需 ffmpeg ≥ 6.0),但我们在快照中看到的安装步骤被截断——部署前请到仓库 README 核对具体的 `dsh` 安装/克隆命令。

使用前有哪些前置条件?

README 提到两点:`ffmpeg` 与 `ffprobe` 必须在 `PATH` 中(所有媒体处理都委托给它们,无原生解码),且 ffmpeg 需 ≥ 6.0 才能用 `scdet` 滤镜检测场景切换。检测不到明显切片的视频会回退为均匀中点采样。

它如何接入 DeepSeek Harness?

它是原生 DSH 插件:纯文本 LLM 智能体以工具形式调用 `video_probe`、`video_analyze` 与 `video_ask`。视觉与 ASR 通过 OpenAI 兼容接口(baseUrl + model + key 环境变量)接入,因此不会锁定单一服务商。

它和直接让 LLM 看视频有什么不同?

它自行完成媒体处理——ffprobe 元数据、ffmpeg `scdet` 场景采样与抽帧、可选 ASR——再把采样帧与 OpenAI 兼容视觉模型融合为结构化证据 JSON,并通过 `video_ask` 支持带时间锚点的问答(如「第 3 分 20 秒」),给出置信度与支撑时间戳。

ASR 服务商失败或未配置 key 会怎样?

ASR 是严格可叠加的:若 `asrApiKeyEnv` 未设置或服务商失败,视觉分析仍会完成,且 `transcript` 为 `null`。插件会优雅降级而非报错。

modlens

作者 liustack

The first vision plugin for DeepSeek Harness, and the vision bridge for every text-only coding agent. Paste an image, get structured JSON evidence (OCR, layout, semantics). | 全网最强 DeepSeek Harness 外挂视觉插件,为 DeepSeek、GLM 等纯文本模型外挂视觉能力,粘贴图片即得结构化 JSON 证据(OCR、版面、语义)。

精选设计、媒体与视觉TypeScript
3,755110

agent-vision-toolkit

作者 anionex

为纯文本模型"看图“设计更好的视觉工具箱和技能,支持多图理解,图片问答,前端UI还原、GUI 自动化等,并可选无缝接入多个主流agent,直接识别粘贴图片| A vision toolkit and skill designed for text-only llms — image Q&A, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode

设计、媒体与视觉Python
1,11838

dsh-vision-router

作者 ysr666

为纯文本 DeepSeek Harness 智能体提供「视觉」能力,内置免密钥视觉链路与像素级视觉工具,一条命令安装,无需 Python。

精选设计、媒体与视觉JavaScript
1,02144

dsh-vision-toolkit

作者 anionex

[dsh]为纯文本模型设计更强大的视觉工具箱:一行安装使用、粘贴图片直接识别、多张图片问答、截图到前端UI 还原等|DeepSeek Harness-native integration for agent-vision-toolkit: image Q&A, long-screenshot OCR, UI restoration, grounding, pixel diff, Artifacts, and Web UI.

精选设计、媒体与视觉TypeScript
83937

08数据与来源

  • 作者声明github.com73c30b168c4b…

    A [DeepSeek Harness](https://github.com/deepseek-ai/deepseek-harness) (DSH) plugin that lets text-only LLM agents unders…

  • 作者声明github.com73c30b168c4b…

    v0.3.1. The plugin never locks you into a provider: vision and ASR are both OpenAI-compatible endpoints configured via `…

页面基于项目公开文档、仓库元数据和 DSH Plugins 的结构化解析生成;最后核验于 2026-08-30。发现错误?提交更正。

🏆

最佳 DeepSeek Harness 插件

从全目录挑出的 12 个值得优先安装的插件,覆盖各个分类。

DSH Plugins 是独立的 DeepSeek Harness 插件市场,与 DeepSeek 官方无关,也不代表官方背书。第三方插件未经安全审计,安装前请审查源码。

每周获取最新的 DeepSeek Harness 插件,绝不滥发。