Video-use チュートリアル：脚本から完成動画までの完全 AI ビデオワークフロー

2026 年の AI 動画には、まったく異なる 2 つのルートがあります。1 つは Sora や Veo などでテキストから映像を生成する道。もう 1 つは Agent が既存素材を編集して完成品に仕上げる道です。後者はトーキングヘッド、チュートリアル、インタビュー、製品発表動画などに実用的です—撮影した素材はそのまま、AI がフィラー削除、リズム調整、字幕焼き込み、カラーグレーディング、エクスポートを担当します。

Video-use はまさに後者のルートを取ります：browser-use チームが公開した Agent 動画編集スキルパックです。生のテイクをフォルダに入れ、Claude Code に「発表用に編集して」と伝えれば、edit/final.mp4 が出力されるのを待つだけ。タイムライン GUI はなく、編集ロジックは helpers/ スクリプトと SKILL.md のルールに書かれています。

本記事では原理 → インストール → 実践 → Cloud Mac デプロイ → コストとリスクの順に、脚本から完成動画までのワークフローを一通り解説します。

1. 背景：なぜ Agent 編集が必要か

インディー開発者やコンテンツチームが最もよく直面する課題は「撮れない」ことではなく、ラフカットに時間がかかることです。「えー」「あのー」の削除、複数テイクの統合、字幕の同期、色調の統一、カット点の音割れチェック—Premiere に慣れた人でも 10 分のトーキングヘッドに 1–2 時間はかかります。

従来の自動化（マクロ、スクリプト）の問題は、ルールが固定されておりコンテンツタイプが変わると機能しなくなることです。Video-use は「編集判断」を LLM に委ねつつ、構造化テキスト + オンデマンド視覚で制約し、モデルが映像を当てずに推測するのを防ぎます。設計思想は browser-use が Agent にスクリーンショットではなく構造化 DOM を渡す考え方と一脈通じています。

2. 核心概念：2 層の読み取り面とパイプライン

Video-use の核心理念：LLM は動画を「見る」のではなく「読む」。 2 層の情報で単語境界精度の編集を実現します。

Layer 1 — 音声文字起こし（常時ロード）

各ソースファイルに対して ElevenLabs Scribe を 1 回呼び出し、以下を取得します：

• 単語レベルのタイムスタンプ：各単語の開始・終了を正確に記録
• 話者分離：複数ゲストのインタビューで S0、S1 を区別
• 音声イベント：(laughter)、(applause)、(sigh) などのマーカー

すべてのテイクを約 12KB の takes_packed.md にパック—これが Agent の主な読み取りビューです。フォーマット例：

## C0103  (duration: 43.0s, 8 phrases)
  [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted.
  [006.08-006.74] S0 We fixed this.

素朴な「30,000 フレーム × 1,500 トークン = 4,500 万トークンのノイズ」と比べれば、テキスト面のコストはほぼ無視できます。

Layer 2 — 視覚コンポジット（オンデマンド）

カットポイントが曖昧なとき—間を残すか、どのテイクを選ぶか、字幕が切れていないか—Agent は timeline_view を呼び出し、フィルムストリップ + 波形 + 単語ラベルの PNG 合成画像を生成します。判断ポイントでのみ呼び出し、全フレーム分析は行いません。

5 ステップのパイプライン

Transcribe ──> Pack ──> LLM Reasons ──> EDL ──> Render ──> Self-Eval
                                                              │
                                                              └─ issue? fix + re-render (max 3)

フローは Ask → Confirm → Execute → Self-Eval → Persist に従います：まず戦略を提案して確認を待ち、実行後は各カット境界で自己評価し、問題があれば自動修正して再レンダリング（最大 3 ラウンド）。

3. インストールと環境準備

Video-use は Claude Code、Codex、Hermes、OpenClaw など、Shell を実行できる Agent ならどれでも動作します。以下は macOS + Claude Code を例にします。

方法 A：ワンショット Setup プロンプト（推奨）

以下を Agent セッションに貼り付けると、install.md を読んでクローン、依存関係、スキル登録を行い、ElevenLabs API Key を求めてきます：

Set up https://github.com/browser-use/video-use for me.

Read install.md first to install this repo, wire up ffmpeg, register the skill with whichever agent you're running under, and set up the ElevenLabs API key — ask me to paste it when you need it. Then read SKILL.md for daily usage, and always read helpers/ because that's where the editing scripts live. After install, don't transcribe anything on your own — just tell me it's ready and wait for me to drop footage into a folder.

方法 B：手動インストール

# 1. クローンして Agent スキルディレクトリにシンボリックリンク
git clone https://github.com/browser-use/video-use ~/Developer/video-use
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use        # Claude Code
# ln -sfn ~/Developer/video-use ~/.codex/skills/video-use     # Codex

# 2. 依存関係のインストール
cd ~/Developer/video-use
uv sync                         # または: pip install -e .
brew install ffmpeg             # 必須
brew install yt-dlp             # 任意、オンライン素材のダウンロード用

# 3. ElevenLabs API Key の設定
cp .env.example .env
# .env を編集：ELEVENLABS_API_KEY=sk_...

4. 実践：素材から final.mp4 まで

4.1 素材の棚卸しと戦略確認

生のテイク（.mp4、.mov など）を同一ディレクトリに入れます。例：~/Videos/launch-takes/。そのディレクトリで Agent を起動：

cd ~/Videos/launch-takes
claude    # または codex、openclaw など

セッションで次のように伝えます：

この素材を製品発表動画に編集して。フィラーと間を削除し、2 語ずつの大文字字幕を追加、暖色のシネマティックなカラーグレードをお願い。

Agent は次を行います：

1. ソースファイルの数、総時間、話者を棚卸し
2. 編集戦略を提案（フィラー削除、テイク選択ロジック、字幕スタイル、カラープリセット）
3. 実行前に確認を待つ—これは厳格なルールの 1 つ

4.2 文字起こしと takes_packed

戦略確認後、Agent は各ソースファイルに Scribe を呼び出し、単語レベルの文字起こしを生成して takes_packed.md にパックします。この時点でトーキングヘッドの内容全体を「読める」状態になり、EDL（Edit Decision List）の計画を始めます。

途中で介入することもできます。例：

• 「C0103 の 18–22 秒は残して、重要なデモだから」
• 「ゲスト S1 は Q&A 部分だけ残し、冒頭の雑談は全部カット」
• 「laughter マーカーのところは 0.5 秒残してからカット」

4.3 EDL と FFmpeg レンダリング

Agent は文字起こしから EDL を生成し、helpers/ 内のスクリプトで FFmpeg を駆動します：

• フィラー削除：umm、uh、言い直し、テイク間の無音
• 30ms 音声フェードイン/アウト：各カット点で音割れを防止
• 自動カラーグレード：warm cinematic、neutral punch、またはカスタム ffmpeg チェーン
• 字幕焼き込み：デフォルトは 2 語ずつ UPPERCASE、スタイルは完全カスタマイズ可能

すべての出力は <videos_dir>/edit/ に置かれ、スキルディレクトリ自体はクリーンなままです。最終ファイルは通常 edit/final.mp4 です。

4.4 自己評価ループ

レンダリング完了後、Agent は各カット境界で timeline_view を実行し、完成品を検査します：

• 画面のジャンプ（頭の位置の急変、背景のちらつき）
• 音声のポップやフェードイン不足
• 字幕の切れや重なり

問題があれば EDL を調整して再レンダリング、最大 3 ラウンド。プレビューはすでに自己評価を通過している—従来の「書き出してからカットミスに気づく」との最大の体験差です。

5. 高度な機能一覧

モーショングラフィックスのオーバーレイは 2026 年版の注目機能です。各アニメーションは独立したサブ Agent が並列生成（HyperFrames、Remotion、Manim、または PIL）。メイン Agent はタイムラインの編成と合成だけを担当し、チュートリアルへの図解、データカード、ブランドイントロの挿入に適しています。

6. Cloud Mac / Apple Silicon との関連シナリオ

Video-use の本質は「Python + FFmpeg + Agent Shell」—macOS クラウドノードに自然に適合し、特に次のチームに向いています：

シナリオ 1：リモート素材のバッチ処理

撮影チームはローカルで撮影し、素材をクラウドストレージにアップロード。Claude Code が SSH で Cloud Mac にログインし、ノード上でパイプライン全体を実行。M4 チップの FFmpeg ハードウェアアクセラレーションにより、10 分の 4K トーキングヘッドは通常数分で完了。ローカルのノート PC は final.mp4 の通知を受け取るだけです。

シナリオ 2：iOS 開発パイプラインとの並列運用

多くのインディー開発者は 1 台の Mac で Xcode と発表動画の編集を兼ねています。Video-use を専用の Cloud Mac ノードに載せれば、FFmpeg が CPU を占有してシミュレータが重くなる問題を回避できます。1 つの Agent が「TestFlight ビルド」と「アプリデモ動画の編集」の 2 つのタスクキューを同時に処理できます。

シナリオ 3：常時稼働の編集ボット

Browser Use Box や自前 VPS + OpenClaw と組み合わせ、Telegram に素材リンクを投げる → ノードが自動で文字起こし・編集 → 完成品を返送。週刊トーキングヘッド、講座の切り抜きなど定型的な産出シーンに適しています。

7. コスト、パフォーマンス、リスク

コスト見積もり（10 分の単独トーキングヘッド、3 テイク）

パフォーマンスの要点

• 文字起こし：ネットワーク I/O が主。ソースのビットレートとの相関は小さい
• レンダリング：4K マルチトラック + カラーチェーンでは M4 が有利。1080p 単一トラックのトーキングヘッドは高速
• モーショングラフィックス：Remotion / Manim サブ Agent の並列処理が最も時間のかかる任意ステップ

リスクと限界

• 魔法ではない：複雑なマルチカム叙事、精緻なモンタージュリズムは依然として人間の最終確認が必要
• Scribe の品質：強いアクセントや大きな BGM は単語境界に影響—手動の注釈・修正が必要な場合あり
• API 依存：ElevenLabs の障害時は文字起こし不可。takes_packed.md を事前キャッシュ可能
• 主観的な好み：12 の厳格ルールで技術的正確性は担保。カラーグレードやリズムの「見た目の良さ」は人が決める

FAQ

Video-use とは何か？従来の編集ソフトと何が違う？

オープンソースの Agent 動画編集スキルパック：素材をフォルダに入れ、対話で要件を伝え、Agent が文字起こし + オンデマンド視覚を読み、FFmpeg で出力。手動 NLE タイムラインとは異なり、判断は LLM がルールに従って行い、人は戦略を確認するだけ。

必要な依存関係は？

Python、FFmpeg、ElevenLabs API Key、Shell 実行可能な Agent（Claude Code / Codex / OpenClaw など）。モーショングラフィックスは任意で Remotion、Manim、HyperFrames。

なぜ LLM は動画を直接「見ない」のか？

フレーム単位のコストが極端に高い。Video-use は ~12KB の文字起こしを主ビューとし、曖昧なカットポイントでのみタイムライン PNG を生成—browser-use がスクリーンショットの代わりに DOM を使うのと同じ発想。

Cloud Mac で動かすのに向いているか？

非常に向いている。文字起こしとレンダリングは算力タスク。SSH 経由のリモート Agent で無人バッチ処理が可能で、ローカルの Xcode ビルドと CPU を奪い合う問題も解消できる。

1 回の編集で費用はどのくらい？

10 分のトーキングヘッドで約 $2–5（文字起こし + Agent トークン）+ クラウドノード時間。週刊番組、チュートリアル切り抜きなど繰り返しシーンに最適。

まとめ

Video-use は AI 動画を「幻想的な映像を生成する」から「現実の素材を効率よく編集する」へ引き戻します：単語レベル文字起こしが編集を駆動し、オンデマンド視覚が判断を補助し、FFmpeg が出力品質を保証し、自己評価ループが手戻りを減らします。iOS 開発者、インディークリエイター、小規模チームにとって、再現可能で拡張可能、クラウド対応の Agent ワークフローです。

始める 3 ステップ：

1. スキル + FFmpeg + ElevenLabs Key をインストール
2. 素材をフォルダに入れ、実行前に戦略を確認
3. 重い処理は Cloud Mac に任せ、ローカルでは final.mp4 だけ受け取る

Agent ツールの選定は 2026 AI コーディングツールランキングを参照。OpenClaw のリモート編成は OpenClaw リモート Mac インストールガイドを参照。

関連記事

• 2026年ベストAIコーディングツールランキング：Claude、Cursor、GitHub Copilot、Codex、Gemini
• OpenClaw リモート Mac インストールと SSH/VNC トラブルシューティング FAQ
• 個人 AI Agent アーキテクチャ三要素
• リモート Mac 開発に欠かせないオープンソースターミナルツール

機能と料金は video-use 公式リポジトリ と ElevenLabs 公式サイトを参照。最終更新：2026 年 8 月 5 日。