我愣了半天。过去做一条视频,写剧本、画分镜、找素材、配音、剪辑,至少三四天。现在有人告诉我,只要说一句话,AI 就能把这整条流水线跑完?
这不是梦。哈工大深圳 TMG 实验室刚开源了一个项目叫 VideoClaw,1.3K Stars,MIT 协议,我拿到手测了几天,今天把完整用法和真实体验一次性讲清楚。
它到底是什么
VideoClaw 不是一个简单的「文生视频」工具,而是一个从创意到成片的完整影视制作系统。
你给它一句话创意,它会自动走完剧本策划、角色/场景设计、分镜规划、参考图生成、视频片段生成、后期剪辑这六个阶段,最后输出一部可直接发布的完整视频。
一句话总结:你的 AI 导演团队,24 小时在线。
适合谁用?
- • 想做 AI 短剧但不会剪辑的创作者
- • 需要批量生产解说类短视频的内容团队
- • 想低成本验证视频创意的独立开发者
- • 对自动化视频流水线感兴趣的技术人员
全自动流程拆解
① 剧本策划:AI 当你的编剧
输入创意标题和故事梗概,VideoClaw 会自动生成结构化的多场次剧本,包含旁白和对话。更关键的是,它支持剧情续写,短剧可以无限往下接。
实测效果: 我输入「一只猫的使命」,AI 在 10 秒内生成了 6 场戏的完整剧本,每场都有明确的场景、对白和镜头提示。这个速度我愣了半天。
踩坑经验: 初期提示词太简略时,AI 会生成很泛的剧本。建议写清楚「故事基调」「核心冲突」「目标时长」,产出质量会提升一个档次。
② 角色/场景设计:风格统一不翻车
基于剧本内容,系统自动提取角色和场景的核心特征,生成风格统一的参考原画。
核心能力: 不是随便出几张图,而是确保所有参考图在画风、色调、角色长相上保持一致。
适合人群: 做系列短剧、动画内容的团队,角色一致性是最大的痛点,VideoClaw 在这方面控制得不错。
踩坑经验: 如果对某张参考图不满意,可以手动重新生成,不影响后续流程。每个阶段的产物都是可修改的,不是黑盒。
③ 分镜规划:把剧本变成镜头语言
这是我觉得最实用的功能。系统把每场戏拆解成连续的视觉分镜,明确每个镜头用什么视角、什么动作描述。
具体用法: 剧本定稿后进入分镜阶段,系统会逐场输出镜头列表。你可以直接看到「镜头 1:特写,猫抬头看窗外」「镜头 2:中景,猫跳上桌子」这种级别的规划。
实测效果: 6 场戏的生成了 18 个分镜,每个分镜都配有动作描述和镜头提示。比我手动写分镜表快太多了。
④ 参考图生成:高精度底图
为每个分镜生成高精度参考底图,控制光影和构图。这张图会作为后面视频生成的输入底图。
核心能力: 不只是「出图」,而是生成带有明确镜头语言、符合分镜要求的可控底图。
踩坑经验: 如果某张分镜图构图不满意,回到这一步重新生成即可。流程的可逆性是我最喜欢 VideoClaw 的地方,每一步都能单独修改。
⑤ 视频生成:调用主流模型出动态片段
调用 Wan、Kling 等主流视频生成模型,把静态的分镜参考图变成动态视频片段。
适合人群: 不需要自己调模型,只要在前端点一下「生成视频」就行。适合没有 GPU 资源的创作者。
实测效果: 单个 5 秒片段的生成时间取决于所选模型,Wan 模型大概 30-60 秒出一个片段。18 个分镜全部跑完大约需要 15-20 分钟。
踩坑经验: 视频质量取决于底层模型。如果模型翻车,整个片段效果会打折扣。建议对关键镜头多生成几次选最好的。
⑥ 后期剪辑:一键聚合导出
所有片段生成后,系统自动聚合,加上旁白、字幕、BGM,一键导出成片。
核心能力: 不需要你会 Premiere 或剪映,系统自动完成剪辑逻辑。
实测效果: 导出的视频可以直接发布,字幕和旁白都已经对齐。我愣了半天,这要是一个团队来做,至少得花两天。
除了短剧还能做什么
VideoClaw 不只是做短剧。我实测了另外三种玩法:
解说类短视频
输入口播文案,系统自动生成配图和语音,按句号切分片段,产出图文/动态短视频。还接入了 Pixelle-Video 的 HTML 模板,可以直接套用。
动作迁移
输入参考图 + 动作视频 + 提示词,让目标角色做同样的动作。这个玩法适合做鬼畜、表情包、舞蹈视频。
数字人口播
输入人物图和口播文案,AI 生成分句语音与数字人视频片段。适合做知识分享、产品介绍类内容。
多端协作
支持 Web 界面操作,也支持微信和飞书交互,在聊天框里说「生成一条狗的使命的视频」,系统自动创建项目。项目产物(剧本、图片、视频片段)全链路留存。
还支持 OpenClaw Skill 集成,可以嵌入到自己的自动化工作流里。
适合人群: 团队协作或多账号运营的创作者,多端交互真的很方便。
怎么部署
git clone https://github.com/HITsz-TMG/VideoClaw.git
cd VideoClaw/video-claw
./install.sh # 一键装依赖
cd backend && uv run python api_server.py # 启动后端 :8000
# 新终端
cd frontend && npm start # 启动前端 :3000
注意: 需要配置视频生成模型的 API Key(Wan、Kling 等)。后端用 Python + uv,前端用 Node.js,中间需要 ffmpeg。
踩坑经验: 部署时确保 ffmpeg 已安装并加入 PATH。后端启动后访问 http://localhost:8000 验证,再启动前端。前后端端口不要冲突。
不是没有槽点
依赖外部模型 API。 视频生成本身依赖 Wan、Kling 等商业模型,不是纯本地方案。每次生成都有 API 成本。
视频质量取决于模型。 最终成片的质量受限于底层视频生成模型,如果模型翻车,整个流程的结果也会打折扣。
部署步骤不少。 Python + Node.js + ffmpeg,前后端分开启动,不是零门槛。对纯小白用户有一定门槛。
1.3K Stars 还在早期。 项目 2026 年 3 月发布,功能迭代很快,但稳定性有待验证。遇到 Bug 可以去 GitHub 提 Issue,社区响应速度还可以。
跟同类怎么比
vs 剪映 AI 成片: 剪映面向个人创作者,做短视频。VideoClaw 是做完整影视流程,剧本、分镜、角色一致性的控制比剪映强得多。
vs 即梦/可灵: 即梦和可灵是文生视频工具,出单段视频。VideoClaw 是整条流水线,从剧本到后期全包。
vs Sora: Sora 强在生成质量,但不开源、不可控。VideoClaw 开源、流程可控、每个阶段可编辑。
我的评价: 如果你想做 AI 短剧或自动化视频内容,VideoClaw 是目前最完整的中文开源方案。哈工大深圳出品,质量有保障。
GitHub: https://github.com/HITsz-TMG/VideoClaw
B站演示: https://space.bilibili.com/2031891503
如果你也在做 AI 视频或自动化内容,欢迎在评论区交流。觉得有用就点个 在看,让更多人看到这个工具。