Dev Log：用 Gemini 3.7 Flash + ffmpeg 自动剪辑短视频（ReelCraft）
来源：dev.to — 2026-08-14 — 7 min
📋 概述
ReelCraft 是一个 Python CLI：喂入一堆视频和照片，Gemini 3.7 Flash 逐项理解素材并给出剪辑建议，确认 edl.yaml 编辑清单后 ffmpeg 切成 9:16 竖屏短视频，用 Lyria 3 生成背景音乐、自动烧录字幕。起源是作者误读了 Gemini Omni Flash 文档——它其实是基于 Interactions API 的单视频编辑生成模型，明确不支持跨多视频理解，真正能做多视频理解的是标准 Gemini 模型（2.5 起单请求最多 10 个视频、1M 上下文）。架构采用「逐文件理解、再文本聚合」规避限制：每个视频单独调用拿精确时间戳与描述，再把这些文本结果（而非原始视频）交给第二次调用做跨素材聚合、排序与剪辑建议。
🔑 核心要点
- Omni Flash 是单视频编辑/生成模型（Interactions API），明确不支持跨多视频引用推理。
- 多视频理解该用标准 Gemini 模型：2.5 起单请求最多 10 视频、1M 上下文可逐秒 token 化。
- 关键设计：每个视频单独调用拿精确时间戳与描述，再对文本结果做跨素材聚合。
- edl.yaml 作为人类确认点，确认后 ffmpeg 切 9:16 竖屏、Lyria 3 配乐、自动烧字幕。
- 三种「ffmpeg 和 Gemini 都报成功但输出是错的」错误，只有真正播放视频才能发现。
💡 金句
这个误会花得值——验证过程反而帮我厘清了「哪个任务该交给哪个模型」，架构随之自然浮现。
👍 0
👎 0
← 返回 dev.to 首页