Video-use Anleitung: Vollständiger KI-Video-Workflow vom Skript zum fertigen Schnitt

2026 teilt sich KI-Video in zwei völlig verschiedene Wege: Der eine nutzt Sora, Veo und ähnliche Modelle, um aus Text Footage zu generieren; der andere setzt Agents ein, um vorhandenes Material zum fertigen Stück zu schneiden. Der zweite Weg ist praktischer für Talking Heads, Tutorials, Interviews und Produkt-Launch-Reels — Sie drehen das Material, und die KI übernimmt Filler-Entfernung, Rhythmus-Ausrichtung, Untertitel-Burn-in, Farbkorrektur und Export.

Video-use geht den zweiten Weg: ein Open-Source-Agent-Video-Schnitt-Skill-Pack vom browser-use-Team. Roh-Takes in einen Ordner legen, Claude Code sagen „schneide daraus einen Launch-Reel“, und auf edit/final.mp4 warten. Keine Timeline-GUI — die Schnittlogik steckt in helpers/-Skripten und SKILL.md-Regeln.

Dieser Leitfaden führt Sie durch den vollständigen Workflow vom Skript zum fertigen Schnitt: Konzepte → Installation → Praxis → Cloud-Mac-Deployment → Kosten und Risiken.

1. Hintergrund: Warum Agent-Schnitt wichtig ist

Der häufigste Schmerzpunkt für Indie-Entwickler und Content-Teams ist nicht „kann nicht drehen“, sondern Grobschnitt-Zeit: „Äh“-Laute entfernen, mehrere Takes zusammenführen, Untertitel ausrichten, Farbe vereinheitlichen und Schnitte auf Audio-Pops prüfen. Selbst ein Premiere-Power-User braucht 1–2 Stunden für einen 10-minütigen Talking Head.

Klassische Automatisierung (Makros, Skripte) scheitert, weil Regeln starr sind — ändert sich der Content-Typ, brechen sie. Video-use delegiert Schnittentscheidungen an einen LLM, begrenzt ihn aber mit strukturiertem Text + bedarfsgesteuerter Vision, damit das Modell nicht blind auf Frames rät. Das Design entspricht browser-use, das Agents strukturiertes DOM statt Screenshots gibt.

2. Kernkonzepte: Zwei Leseebenen und die Pipeline

Video-uses Kernidee: Der LLM „schaut“ nie Video — er „liest“ es. Zwei Informationsebenen ermöglichen Schnitte mit Wortgrenzen-Präzision.

Ebene 1 — Audio-Transkription (immer geladen)

Jede Quelldatei wird einmal an ElevenLabs Scribe gesendet und liefert:

• Wort-Zeitstempel: Start und Ende für jedes Wort
• Sprecher-Diarisierung: S0, S1 in Multi-Gast-Interviews unterscheiden
• Audio-Events: Marker wie (laughter), (applause), (sigh)

Alle Takes werden in eine einzige ~12-KB-takes_packed.md gepackt — die primäre Leseansicht des Agents, formatiert etwa so:

## C0103  (duration: 43.0s, 8 phrases)
  [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted.
  [006.08-006.74] S0 We fixed this.

Verglichen mit einem naiven Ansatz: 30.000 Frames × 1.500 Token = 45 Millionen Token Rauschen. Die Textfläche kostet praktisch nichts.

Ebene 2 — Visuelle Komposition (bei Bedarf)

Ist ein Schnittpunkt mehrdeutig — Pause behalten, welchen Take wählen, ist der Untertitel beschnitten — ruft der Agent timeline_view auf und erzeugt eine PNG-Komposition aus Filmstreifen + Wellenform + Wort-Labels. Nur an Entscheidungspunkten, keine Vollbild-Analyse.

Fünf-Schritt-Pipeline

Transcribe ──> Pack ──> LLM Reasons ──> EDL ──> Render ──> Self-Eval
                                                              │
                                                              └─ issue? fix + re-render (max 3)

Der Ablauf folgt Ask → Confirm → Execute → Self-Eval → Persist: Strategie vorschlagen und auf Bestätigung warten, dann ausführen; nach dem Render an jeder Schnittgrenze selbst bewerten und bei Bedarf automatisch korrigieren und neu rendern (bis zu 3 Runden).

3. Installation und Umgebung

Video-use funktioniert mit Claude Code, Codex, Hermes, OpenClaw oder jedem Agent, der Shell-Befehle ausführen kann. Unten: macOS + Claude Code als Beispiel.

Option A: Einmal-Setup-Prompt (empfohlen)

Folgendes in eine Agent-Session einfügen. Es liest install.md, klont das Repo, installiert Abhängigkeiten, registriert den Skill und fragt nach Ihrem ElevenLabs-API-Key:

Set up https://github.com/browser-use/video-use for me.

Read install.md first to install this repo, wire up ffmpeg, register the skill with whichever agent you're running under, and set up the ElevenLabs API key — ask me to paste it when you need it. Then read SKILL.md for daily usage, and always read helpers/ because that's where the editing scripts live. After install, don't transcribe anything on your own — just tell me it's ready and wait for me to drop footage into a folder.

Option B: Manuelle Installation

# 1. Klonen und Symlink ins Agent-Skills-Verzeichnis
git clone https://github.com/browser-use/video-use ~/Developer/video-use
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use        # Claude Code
# ln -sfn ~/Developer/video-use ~/.codex/skills/video-use     # Codex

# 2. Abhängigkeiten installieren
cd ~/Developer/video-use
uv sync                         # oder: pip install -e .
brew install ffmpeg             # erforderlich
brew install yt-dlp             # optional, für Online-Material

# 3. ElevenLabs API Key konfigurieren
cp .env.example .env
# .env bearbeiten: ELEVENLABS_API_KEY=sk_...

4. Praxis: Von Rohmaterial zu final.mp4

4.1 Material erfassen und Strategie bestätigen

Roh-Takes (.mp4, .mov usw.) in ein Verzeichnis legen, z. B. ~/Videos/launch-takes/. Agent aus diesem Verzeichnis starten:

cd ~/Videos/launch-takes
claude    # oder codex, openclaw usw.

In der Session etwa sagen:

Schneide dieses Material zu einem Produkt-Launch-Reel — entferne Filler und Pausen, füge 2-Wort-GROSSBUCHSTABEN-Untertitel hinzu, warme cineastische Farbkorrektur.

Der Agent wird:

1. Quelldateien erfassen: Anzahl, Gesamtdauer, Sprecher
2. Eine Schnittstrategie vorschlagen (Filler-Entfernung, Take-Auswahl, Untertitelstil, Farb-Preset)
3. Auf Ihre Bestätigung warten, bevor er ausführt — das ist eine feste Regel

4.2 Transkribieren und takes_packed erstellen

Nach Strategiebestätigung ruft der Agent Scribe für jede Quelldatei auf, erzeugt Wort-Transkripte und packt sie in takes_packed.md. Er kann nun den vollständigen Talking-Head-Inhalt „lesen“ und die EDL (Edit Decision List) planen.

Sie können eingreifen, z. B.:

• „Behalte das 18–22-Sekunden-Segment in C0103 — das ist die zentrale Demo“
• „Für Gast S1 nur Q&A behalten — gesamtes Eröffnungs-Smalltalk streichen“
• „An Laughter-Markern 0,5 Sekunden halten, dann schneiden“

4.3 EDL und FFmpeg-Rendering

Der Agent erzeugt eine EDL aus dem Transkript und steuert FFmpeg über Skripte in helpers/:

• Filler schneiden: umm, uh, Fehlstarts, tote Luft zwischen Takes
• 30 ms Audio-Fade in/out: an jedem Schnitt gegen Pops
• Auto-Farbkorrektur: warm cinematic, neutral punch oder eigene ffmpeg-Kette
• Untertitel-Burn-in: Standard 2-Wort-GROSSBUCHSTABEN-Chunks, Stil voll anpassbar

Alle Ausgaben landen in <videos_dir>/edit/ — das Skill-Verzeichnis bleibt sauber. Die Enddatei ist meist edit/final.mp4.

4.4 Selbstbewertungs-Schleife

Nach dem Rendering führt der Agent an jeder Schnittgrenze timeline_view aus und prüft das fertige Stück auf:

• Bildsprünge (Kopfposition, Hintergrund-Flimmern)
• Audio-Pops oder unzureichendes Fade-in
• Beschnittene oder überlappende Untertitel

Probleme lösen EDL-Anpassungen und Re-Render aus, bis zu 3 Runden. Die Vorschau hat die Selbstbewertung bereits bestanden — der größte UX-Unterschied zu „exportieren und schlechten Schnitt entdecken“.

5. Erweiterte Funktionen im Überblick

Motion-Graphics-Overlay ist ein 2026-Highlight: Jede Animation wird parallel von einem eigenen Sub-Agent erzeugt (HyperFrames, Remotion, Manim oder PIL). Der Haupt-Agent orchestriert nur Timeline und Compositing — ideal für Diagramme, Datenkarten oder Brand-Intros in Tutorials.

6. Cloud Mac und Apple-Silicon-Deployment-Szenarien

Video-use ist im Kern „Python + FFmpeg + Agent Shell“ — natürlich geeignet für macOS-Cloud-Knoten, besonders für diese Teamprofile:

Szenario 1: Remote-Batch-Verarbeitung von Material

Das Drehteam filmt lokal und lädt in Cloud-Speicher hoch; Claude Code SSH auf einen Cloud Mac und führt die vollständige Pipeline auf dem Knoten aus. M4-FFmpeg-Hardwarebeschleunigung rendert einen 10-minütigen 4K-Talking-Head typischerweise in Minuten. Ihr lokaler Laptop erhält nur die final.mp4-Benachrichtigung.

Szenario 2: Parallel zu iOS-Dev-Pipelines

Viele Indie-Entwickler fahren Xcode und schneiden Launch-Reels auf demselben Mac. Video-use auf einen dedizierten Cloud-Mac-Knoten auslagern, damit FFmpeg die CPU nicht sättigt und der Simulator hängen bleibt. Ein Agent kann beide Warteschlangen bedienen: „TestFlight bauen“ und „App-Demo-Video schneiden“.

Szenario 3: Always-on-Schnitt-Bot

Mit Browser Use Box oder selbst gehostetem VPS + OpenClaw: Material-Link in Telegram → Knoten transkribiert und schneidet automatisch → fertiges Stück zurück. Passt zu wöchentlichen Talking-Head-Shows, Kurs-Clip-Batches und anderen festen Output-Workflows.

7. Kosten, Performance und Risiken

Kostenschätzung (10-minütiger Einzelsprecher-Talking-Head, 3 Takes)

Performance-Hinweise

• Transkription: Netzwerk-I/O-gebunden; Quell-Bitrate weniger relevant
• Rendering: M4 stark bei 4K-Multi-Track + Farbketten; 1080p-Einzelspur-Talking-Heads schnell
• Motion Graphics: Remotion / Manim Sub-Agents parallel sind der langsamste optionale Schritt

Risiken und Grenzen

• Keine Magie: Komplexe Multi-Cam-Narrative und fein abgestimmter Montage-Rhythmus brauchen weiter menschliche Endkontrolle
• Scribe-Qualität: Starke Akzente und laute Hintergrundmusik verschlechtern Wortgrenzen — manuelle Korrektur nötig
• API-Abhängigkeit: ElevenLabs-Ausfall blockiert Transkription; takes_packed.md vorab cachen
• Subjektiver Geschmack: 12 feste Regeln sichern technische Korrektheit; Farbkorrektur und Tempo „sehen gut aus“ brauchen weiter menschliches Okay

FAQ

Was ist Video-use, und wie unterscheidet es sich von klassischer Schnittsoftware?

Open-Source-Agent-Video-Schnitt-Skill-Pack: Material in einen Ordner, Anforderungen im Gespräch beschreiben, Agent liest Transkripte + bedarfsgesteuerte Vision, FFmpeg liefert das fertige Stück. Anders als manuelle NLE-Timelines trifft der LLM Entscheidungen per Regeln — Sie bestätigen die Strategie.

Welche Abhängigkeiten sind erforderlich?

Python, FFmpeg, ElevenLabs-API-Key und ein Shell-fähiger Agent (Claude Code / Codex / OpenClaw usw.). Motion Graphics optional mit Remotion, Manim oder HyperFrames.

Warum „schaut“ der LLM das Video nicht direkt an?

Frame-für-Frame-Kosten sind extrem. Video-use nutzt ein ~12-KB-Transkript als Hauptansicht und erzeugt Timeline-PNGs nur an mehrdeutigen Schnittpunkten — dieselbe Idee wie browser-use mit DOM statt Screenshots.

Eignet es sich für Cloud Mac?

Absolut. Transkription und Rendering sind Rechenaufgaben; ein Remote-Agent per SSH kann unbeaufsichtigt im Batch arbeiten und löst das Problem, dass FFmpeg mit lokalen Xcode-Builds um CPU konkurriert.

Wie viel kostet ein einzelner Schnitt?

~$2–5 für einen 10-minütigen Talking Head (Transkription + Agent-Token) + Cloud-Knoten-Zeit. Am besten für wöchentliche Shows, Tutorial-Clip-Batches und andere wiederkehrende Workflows.

Zusammenfassung

Video-use holt KI-Video zurück von „fantastische Footage generieren“ zu „echtes Material effizient schneiden“: Wort-Transkription steuert Schnitte, bedarfsgesteuerte Vision unterstützt Entscheidungen, FFmpeg garantiert Output-Qualität, die Selbstbewertungs-Schleife reduziert Nacharbeit. Für iOS-Entwickler, Indie-Creator und kleine Teams ist es ein reproduzierbarer, erweiterbarer, cloud-fähiger Agent-Workflow.

Drei Schritte zum Einstieg:

1. Skill + FFmpeg + ElevenLabs-Key installieren
2. Material in Ordner legen; Strategie vor Ausführung bestätigen
3. Schwere Arbeit auf Cloud Mac auslagern; final.mp4 lokal abholen

Zur Agent-Tool-Auswahl siehe KI-Coding-Tools-Ranking 2026; für OpenClaw-Remote-Orchestrierung OpenClaw Remote-Mac-Installationsleitfaden.

Weiterlesen

• Beste KI-Coding-Tools 2026 im Ranking: Claude, Cursor, GitHub Copilot, Codex, Gemini
• OpenClaw Remote-Mac-Installation & SSH/VNC-Fehlerbehebung FAQ
• 2026 AI Coding, Personal AI & Agent-Orchestrierung: Das Dreier-Set
• Open-Source-Toolchain-Kompendium: Terminal-Tools für Remote-Mac-Entwicklung 2026

Funktionen und Preise gemäß offiziellem video-use-Repository und ElevenLabs-Website. Stand: 6. August 2026.