Comment utiliser Video-Use ? Faire monter automatiquement des vidéos avec Claude Code, Codex et les autres AI Coding Agents : édition vidéo en langage naturel, traitement des rushes et flux de travail IA

Tapez « coupe les euh » dans le chat : si l'agent ne sait qu'envoyer tout le mp4 à un modèle de vision, la facture et la latence explosent en premier. video-use, chez browser-use, prend un autre chemin. Claude Code, Codex et les autres agents de code capables de lancer des commandes lisent la transcription, écrivent la liste de décisions de montage (EDL), puis appellent ffmpeg pour sortir le film. Le dépôt indique qu'il est 100 % open source. L'entrée est github.com/browser-use/video-use. Cet article suit le README, install.md et SKILL.md du dépôt au 23 septembre 2026. Les commandes et les dossiers sont ceux de ces fichiers ce jour-là. Après un pull, s'ils ont bougé, c'est votre SKILL.md local qui fait foi.

Les formats que le projet cite : face caméra, montage, tutoriel, voyage, interview. Pas de menu tout prêt. Il vous faut une session d'agent qui aille au bout, et une machine qui ne s'endort pas au milieu du rendu, une fois la transcription faite.

Ce que video-use monte

Vous n'ouvrez pas de timeline. Vous posez les rushes dans un dossier, vous lancez l'agent dans ce répertoire, vous dites le but en clair. L'exemple officiel tient en une phrase : edit these into a launch video. L'agent inventorie d'abord, propose une stratégie, attend votre accord, puis écrit edit/final.mp4 à côté des rushes. Le dépôt du skill reste propre : les fichiers produits n'ont pas le droit d'atterrir dans video-use/.

Les capacités du film fini, telles que le README les liste, sont ce que ffmpeg et quelques moteurs d'animation optionnels savent déjà faire. Ce n'est pas un nouveau modèle :

• Enlever les tics et le temps mort entre les prises : umm, uh, les reprises, le silence
• Étalonner par segment : cinéma chaud warm_cinematic, renforcement neutre neutral_punch, ou votre propre chaîne de filtres ffmpeg
• Fondu audio de 30ms à chaque coupe, pour éviter les claquements
• Incruster les sous-titres : deux mots par défaut, tout en capitales, style modifiable
• Superposer des animations : HyperFrames, Remotion, Manim ou PIL ; plusieurs animations en parallèle via des sous-agents
• Contrôle après le rendu, vous ne voyez le film qu'une fois le contrôle passé ; la mémoire de session est dans project.md, on reprend la semaine suivante

Même idée que browser-use face au web : plutôt que de bourrer le contexte de captures, on donne au modèle un texte structuré. Côté vidéo, ce texte est la transcription.

Comment le modèle « lit » la vidéo

Le SKILL le dit sans détour : le LLM ne regarde jamais la vidéo, il la lit. Deux couches lui suffisent pour couper sur les frontières de mots.

Première couche, toujours chargée : la transcription audio. Chaque fichier source passe une fois par ElevenLabs Scribe, qui renvoie des horodatages mot à mot, la séparation des locuteurs, et des événements audio comme (laughter), (applause), (sigh). Toutes les prises sont compressées dans un takes_packed.md d'environ 12KB. Une phrase se coupe quand le silence atteint 0.5 seconde, ou au changement de locuteur. Le modèle lit surtout des lignes de ce genre :

## C0103  (duration: 43.0s, 8 phrases)
  [002.52-005.36] S0 Ninety percent of what a web agent does is completely wasted.
  [006.08-006.74] S0 We fixed this.

Deuxième couche, à la demande : le composite image. timeline_view exporte, pour une fenêtre de temps, un PNG avec filmstrip, forme d'onde et étiquettes de mots. On ne l'appelle qu'aux points de décision : une pause ambiguë, le choix entre deux reprises, une coupe vraiment propre ou non. Ce n'est pas un outil de scan. Ne le lancez pas à chaque seconde.

Le dépôt compare ça à un chemin naïf : 30 000 images × environ 1500 tokens par image, soit environ 45 millions de tokens de bruit. Le chemin video-use, c'est 12KB de texte plus quelques PNG. Ce chiffre est le contraste du dépôt, pas une facture mesurée sur ce site. Ce qu'il faut retenir, c'est le sens : le contexte doit contenir des mots et des temps, pas des images extraites.

Installation : Claude Code, Codex, OpenClaw

La machine doit avoir quatre choses en même temps : un clone sur un chemin stable, ffmpeg et ffprobe dans le $PATH, la clé ElevenLabs dans le .env à la racine du dépôt, et l'agent du moment capable de trouver SKILL.md. Les dépendances Python sont dans pyproject.toml : requests, librosa, matplotlib, pillow, numpy. Il n'y a pas de commande console. Les scripts se lancent directement avec python helpers/….py.

Confier l'installation à l'agent

Le projet conseille de coller le bloc ci-dessous à Claude Code, Codex, Hermes, OpenClaw, ou à tout agent qui a un shell. Il clone, installe les dépendances, enregistre le skill, et vous demande la clé une fois, au moment où il en a besoin :

Set up https://github.com/browser-use/video-use for me.

Read install.md first to install this repo, wire up ffmpeg, register the skill with whichever agent you're running under, and set up the ElevenLabs API key — ask me to paste it when you need it. Then read SKILL.md for daily usage, and always read helpers/ because that's where the editing scripts live. After install, don't transcribe anything on your own — just tell me it's ready and wait for me to drop footage into a folder.

La clé se crée sur la page des clés API d'elevenlabs.io. Le contrôle d'installation ne vérifie que timeline_view.py --help et ffprobe -version. Ne transcrivez pas un vrai film juste pour « prouver que c'est installé » : Scribe est facturé à l'appel. Une fois la clé écrite dans ~/Developer/video-use/.env, faites chmod 600. Ne l'affichez pas, ne la commitez pas.

Cloner et enregistrer soi-même

Pour le faire à la main, suivez l'installation manuelle du dépôt. Le lien symbolique porte sur tout le dossier, parce que helpers/ doit être voisin de SKILL.md :

git clone https://github.com/browser-use/video-use ~/Developer/video-use
ln -sfn ~/Developer/video-use ~/.claude/skills/video-use
# Codex: ln -sfn ~/Developer/video-use ~/.codex/skills/video-use

cd ~/Developer/video-use
uv sync                         # or pip install -e .
brew install ffmpeg             # required; ffprobe comes with it
brew install yt-dlp             # optional, only when pulling footage from a URL

cp .env.example .env            # ELEVENLABS_API_KEY=...

ffmpeg doit être en 4.x ou plus récent. Une build statique convient aussi. Sous Linux, prenez le paquet de la distribution, ne devinez pas le mot de passe sudo. HyperFrames, Remotion et Manim ne s'installent qu'au premier slot d'animation. Ne choisissez pas un favori global le jour de l'installation. HyperFrames demande aujourd'hui Node.js 22+. yt-dlp s'installe aussi à la demande.

Pour mettre à jour : git pull --ff-only. Le lien symbolique prend le nouveau code à la session suivante. Si la liste des dépendances a changé, relancez uv sync.

La première sortie

Une fois l'installation faite, vous êtes dans le dossier de rushes, pas dans le dépôt du skill :

cd /path/to/your/videos
claude    # or codex, hermes

La première phrase n'est pas « commence le rendu ». Dites : inventorie ces prises, et donne-moi une stratégie en clair. Le flux officiel : poser les questions, confirmer, exécuter, contrôler, puis noter dans project.md. Tant que la stratégie n'a pas votre accord, pas de coupe.

Une session normale passe par ces questions. Elles changent avec les rushes, il n'y a pas de liste fixe : type de film, durée cible et format d'image, ton, instants à garder, instants à couper, animation et étalonnage ou non, sous-titres ou non. L'agent décrit ensuite la forme en 4 à 8 phrases : quelle prise, où couper, animation, étalonnage, sous-titres, durée prévue. Après votre oui, il écrit edl.json, fait l'étalonnage segment par segment, et appelle render.py.

La prévisualisation passe par render.py --preview (720p, rapide). Le contrôle regarde le film fini : environ 1.5 seconde avant et après chaque coupe via timeline_view, plus le début, la fin et deux ou trois endroits au milieu, et la durée avec ffprobe. En cas d'échec : corriger, rendre à nouveau, regarder encore, 3 tours au maximum. S'il reste un problème après 3 tours, il doit vous le signaler. Pas de boucle infinie. Quand vous voyez la prévisualisation, le contrôle doit déjà être passé.

Le projet propose aussi un essai hébergé (Browser Use Cloud) et un accès toujours ouvert depuis un VPS ou Telegram, via Browser Use Box. Sur votre machine ou sur un Cloud Mac, le chemin est celui du dessus : dossier de rushes + skill déjà enregistré.

Dossiers, scripts et EDL

Les rushes ne bougent pas. Toute la session atterrit dans <videos_dir>/edit/ :

Le pipeline est une ligne droite. Le contrôle peut renvoyer au rendu, mais avec un plafond :

Transcribe → Pack → LLM reasoning → EDL → Render → Self-Eval
                                              └ if something is wrong, revise, at most 3 rounds

Les scripts utiles sont tous dans helpers/, chemins relatifs au dossier de SKILL.md :

• transcribe.py : Scribe sur un seul fichier, --num-speakers en option, résultat en cache
• transcribe_batch.py <videos_dir> : 4 workers en parallèle, à utiliser quand il y a plusieurs prises
• pack_transcripts.py --edit-dir : les JSON deviennent takes_packed.md
• timeline_view.py : PNG filmstrip aux points de décision
• render.py <edl.json> -o … : extraction par segment, assemblage, overlays, sous-titres brûlés en dernier. --preview passe en 720p, --build-subtitles écrit aussi master.srt
• grade.py : preset, ou chaîne libre avec --filter. L'étalonnage se fait à l'extraction du segment, pas en ré-encodant tout le film après l'assemblage

La forme de edl.json ressemble à ceci. Les temps et les chemins viennent de vos rushes. Ne recopiez pas les secondes de l'exemple :

{
  "version": 1,
  "sources": {"C0103": "/abs/path/C0103.MP4"},
  "ranges": [
    {"source": "C0103", "start": 2.42, "end": 6.85,
     "beat": "HOOK", "quote": "...", "reason": "cleanest take"}
  ],
  "grade": "warm_cinematic",
  "overlays": [
    {"file": "edit/animations/slot_1/render.mp4", "start_in_output": 0.0, "duration": 5.0}
  ],
  "subtitles": "edit/master.srt",
  "total_duration_s": 87.4
}

Pour choisir la meilleure phrase parmi plusieurs prises, un sous-agent d'édition s'ouvre : il assemble par temps fort (HOOK, problème, solution…) et non dans l'ordre des fichiers. L'entrée et la sortie doivent tomber sur une frontière de mot. La structure peut être un film de lancement, un tutoriel, une interview, ou une forme que vous inventez. Ne figez pas un seul moule.

Les règles dures qui cassent le film

Le SKILL laisse le jugement artistique au modèle. Il ne verrouille que les 12 règles qui abîment le film en silence si on les ignore. Voici celles que vous entendrez et verrez vraiment en montant. Les autres (transcription en cache, animations en parallèle, confirmer avant de couper, produits uniquement dans edit/) sont déjà plus haut.

Le SRT d'un Whisper local est explicitement un anti-pattern : c'est lent, et ça normalise les tics. La transcription passe par Scribe hébergé, avec un cache par fichier source.

Comment traiter les rushes

La coupe vient de la parole et des respirations ; l'image suit. Un silence ≥400ms est en général la coupe la plus propre. Une frontière de phrase à 150–400ms est utilisable, mais il faut jeter un œil à l'image. En dessous de 150ms, on coupe souvent au milieu d'une phrase : ce n'est pas sûr. Au passage de locuteur, on peut laisser 400–600ms de respiration. On resserre pour un montage rapide, on élargit pour un documentaire : c'est une question de goût, pas une loi. Rire, chute de blague, accent : laissez une queue. Le rire lui-même est le temps fort. Un événement comme (laughs) est un signal. Ne coupez pas juste devant.

Chaque coupe doit tenir en son et en image en même temps. Ne réparer que l'audio, ou que l'image, est un mode d'échec que le SKILL nomme.

L'étalonnage se fait par segment. Regardez une image avec timeline_view, changez une seule chose, regardez encore. Les presets ne sont qu'un point de départ : sur du face caméra, warm_cinematic est le plus sûr, neutral_punch n'ajoute que du contraste et ne touche pas la teinte, none est le défaut quand vous n'avez pas demandé d'étalonnage. Tant que les carnations n'ont pas été essayées, ne tirez pas la pente trop fort.

Les sous-titres ont trois boutons : combien de mots par ligne, la casse, la distance au bord bas. Le style prêt pour un film de lancement court : deux mots, tout en capitales, Helvetica 18 Bold, blanc avec contour noir, MarginV=35. Un documentaire peut passer à une phrase de 4–7 mots, casse normale, marge plus grande. Dans les deux cas, les sous-titres se brûlent en dernier, et le timecode est celui du film fini.

L'animation choisit le moteur par slot. Ne prenez pas Remotion par défaut sous prétexte que « ça ressemble au web » :

• HyperFrames : HTML/CSS/GSAP, motion d'interface produit, WebM transparent. Dans le dossier du slot, npx --yes hyperframes, Node 22+ requis
• Remotion : seulement si vous nommez React, ou s'il existe déjà un design system Remotion
• Manim : formules, machines à états, morphing de graphes. Le dépôt embarque skills/manim-video/
• PIL + séquence PNG : compteurs, machine à écrire, une seule révélation. L'exemple de film de lancement prend ce chemin, et c'est rapide

Si les couleurs et les polices ne sont pas claires, restez dans la phase de stratégie. On dessine après confirmation. Pour une carte calée sur la voix off, comptez environ 5–7 secondes si c'est simple, 8–14 secondes pour un schéma chargé, et tenez le plan final au moins 1 seconde. Les révélations utilisent un ease-out cubique, pas une rampe linéaire. Plusieurs slots d'animation ouvrent des sous-agents en même temps : le temps d'horloge vaut à peu près celui du slot le plus lent. Le prompt de chaque sous-agent doit se suffire à lui-même, parce qu'ils ne voient pas la session parente.

Le format d'image suit la source, sauf si vous le précisez. Cibles courantes : cinéma 1920×1080@24, contenu d'écran à 30fps, vertical 1080×1920, carré 1080×1080. render.py réduit par défaut tout ce qu'il reçoit en 1080p. Le ratio de livraison mérite une question dans la stratégie.

Formulations en langage naturel

Les formulations qui marchent contraignent la stratégie. Elles n'écrivent pas les filtres ffmpeg à votre place. Voici des phrases que l'on peut dire telles quelles dans le même flux. Le chinois comme l'anglais conviennent : l'agent lit l'intention.

• « D'abord, rien d'autre que la transcription. Inventorie les noms de fichiers, les durées, s'il y a du dialogue. Donne la stratégie en six phrases, et attends ma réponse avant d'écrire l'EDL. »
• « C'est un face caméra de lancement produit. Cible 60–90 secondes, 16:9. Enlève les euh, les ah et les reprises. Garde la phrase We fixed this et le rire qui suit. »
• « Les deux prises parlent du prix. Prends celle sans lapsus. La coupe tombe sur une frontière de mot, avec environ 80ms de chaque côté. »
• « Pas d'étalonnage. Pas de sous-titres. D'abord --preview. Je dis oui, ensuite final.mp4. »
• « Vertical 1080×1920, sous-titres en deux mots capitales. Une seule carte titre de 5 secondes. Confirme les couleurs avant de la faire. »
• « Les fichiers source n'ont pas changé, ne retranscris pas. D'après ma dernière note, ne change que le point de sortie du HOOK. »

Pour une retouche, bouclez en langage naturel : nouvelle stratégie, nouveau rendu, pas de nouvelle transcription. Le film final ne sort qu'après votre validation de la prévisualisation. Chaque session ajoute à project.md la stratégie, les décisions et ce qui reste ouvert. La fois suivante, en entrant dans le dossier, l'agent doit résumer la session précédente en une phrase, puis demander si on continue.

Quand ne pas l'utiliser

C'est un skill de montage sur un agent de code, pas une console d'étalonnage.

• Un montage musical presque sans dialogue. Le dessin des coupes s'appuie surtout sur les frontières de parole et les silences. L'intention visuelle, vous devez l'écrire vous-même dans la stratégie, sinon le modèle n'a pas de lecture principale.
• Vous voulez tirer des images clés à la main, commuter plusieurs caméras en direct, faire un étalonnage secondaire fin. Ça reste dans Final Cut, Premiere, DaVinci. video-use fait le dérushage, enlève les tics, brûle les sous-titres, pose des overlays simples. Le film peut ensuite rentrer dans un NLE.
• Le budget de transcription. Scribe dépense du crédit ElevenLabs. Le cache existe pour ne pas payer deux fois. Transcrire un long film pendant l'installation est le gaspillage le plus courant.
• Le contrôle n'est pas une revue. Il prélève des PNG et des formes d'onde près des coupes, et il attrape les jump cuts, les claquements, les sous-titres masqués. Il ne garantit pas que la blague est drôle, ni que la couleur de marque est juste. Le goût attend toujours votre oui.
• Les droits. Ne traitez que des rushes que vous avez le droit de monter. Le skill peut tirer une URL avec yt-dlp. C'est une porte d'entrée pour la matière, pas une raison de contourner le droit d'auteur.
• La clé. Elle ne vit que dans le .env du dépôt du skill. Ne l'écrivez pas dans le dossier de rushes, ne la collez pas dans un chat qui se synchronise ailleurs.

Pourquoi les longues sessions vont sur un Cloud Mac

Un film de lancement, c'est souvent : transcription par lot, allers-retours sur la stratégie, prévisualisation 720p, un ou deux slots d'animation, puis 1080p. ffmpeg et les sous-agents prennent du temps. Le portable se referme, le processus de l'agent s'endort avec lui, et edit/ s'arrête sur une prévisualisation à moitié faite.

• Ne coupez pas la session. Ouvrez tmux sur un Cloud Mac, et faites tourner Claude Code ou Codex dedans. Après la déconnexion, le rendu continue, et project.md est encore là.
• La chaîne d'outils, c'est brew. Le chemin macOS officiel est brew install ffmpeg. La même machine a aussi Python, uv, et Node 22 pour HyperFrames. Inutile de changer de machine pour un Linux au milieu du rendu, juste pour chasser une différence de filtre.
• Le disque suit les rushes. Les originaux et edit/ sont sur le disque où se trouve l'agent. Le lien symbolique ne lie que le dépôt du skill, pas les rushes.
• Séparer du travail de code, c'est possible ; tout garder sur une machine est plus simple. Sur le même Mac, Codex modifie le dépôt le matin, video-use monte le face caméra de lancement l'après-midi. Les deux sont de longues sessions, les deux craignent le sommeil.

Le modèle peut changer la semaine prochaine. Le dossier du skill et ffmpeg, non. Posez l'agent sur un Vuncloud Cloud Mac. Le portable ne fait que regarder preview.mp4 et répondre « HOOK, 2 secondes de moins ».

FAQ

video-use est-il un logiciel de montage ?

Non. C'est un skill d'agent open source publié par browser-use. Vous parlez dans le dossier de rushes : l'agent lit la transcription mot à mot, écrit l'EDL, puis ffmpeg rend edit/final.mp4. Il n'y a pas d'interface de timeline.

Quels agents peuvent s'en servir ?

Tous ceux qui lancent un shell et lisent SKILL.md. Les chemins officiels couvrent Claude Code, Codex, Hermes et OpenClaw. Liez le dépôt entier, pas un seul fichier markdown.

Faut-il absolument ElevenLabs ?

Pour la transcription, oui. Scribe fournit les horodatages mot à mot, la séparation des locuteurs et des événements comme les rires. La clé va dans le .env du dépôt, permissions 600. Sans clé, le pipeline ne démarre pas. Pendant l'installation, ne testez pas la transcription sur un vrai film.

Le modèle regarde-t-il toute la vidéo comme une suite d'images ?

Non, pas en continu. La lecture principale est takes_packed.md. L'image n'est échantillonnée, via les PNG de timeline_view, qu'aux points de décision et au contrôle du film fini.

Où est le film fini, et les rushes sont-ils modifiés ?

Les fichiers d'origine restent en place. Les produits sont dans edit/ du dossier de rushes, le film final est final.mp4. Sans votre confirmation de la stratégie, il ne doit pas couper.

Peut-il remplacer Premiere ou Final Cut ?

Le dérushage du face caméra et des tutoriels, le retrait des tics et l'incrustation des sous-titres, il les fait vite. Images clés, multicam et étalonnage fin restent dans le NLE. Pour un film presque sans dialogue, il faut énoncer vous-même la stratégie d'image.

Conclusion

Trois phrases : video-use fait lire la transcription à l'agent de code, au lieu d'extraire des images ; il ne doit pas rendre avant votre oui ; le film est edit/final.mp4 à côté des rushes, pas dans le dépôt du skill. Mettez d'abord ffmpeg, la clé et le lien symbolique du dossier entier au bon endroit. La première phrase ne demande qu'une stratégie. Étalonnage et animation viennent après une prévisualisation validée.

Les tics et les respirations vont bien sur ce pipeline. Le goût et les droits restent de votre côté. La machine ne doit pas s'endormir au milieu du rendu.

Pour aller plus loin

• Meilleurs outils de codage IA en 2026 : Claude, Cursor, GitHub Copilot, Codex, Gemini
• Limite hebdomadaire Codex atteinte ? 7 correctifs, mécanique des quotas et APIs alternatives (2026)
• OpenAI DevDay 2026 : que sort le 29 septembre ? GPT-6-Astra, Agents API, Hosted Sandbox, Codex, prix API et fonctions développeur AI Agent en un coup d’œil