ZastTranslate : doubler ses vidéos avec sa propre voix en local

J’ai passé énormément de temps à développer ZastTranslate, mon outil open source qui permet de traduire et doubler des vidéos avec clonage vocal. Il tourne à 100% en local sur votre PC via Pinokio. Il n’y a aucun cloud, aucune clé API payante, aucun abonnement, rien que des modèles open source qui tournent sur votre carte graphique (si elle est rapide).

Depuis la première version, l’outil a bien évolué. On arrive maintenant à la version 1.18 avec un tout nouveau moteur vocal qui gère plus de 30 langues, un mode groupé (Bulk) pour tout sortir d’un coup pour YouTube et même des outils pour générer des Shorts verticaux et des articles.

Voici le tour complet de l’outil et comment je l’utilise pour doubler mes vidéos.

Pourquoi j’ai créé ZastTranslate

Je fais des vidéos YouTube en français depuis un moment. Le problème c’est que l’audience francophone reste limitée. Si vous voulez toucher un public international, il faut doubler vos vidéos dans d’autres langues. Youtube le fait déjà sur ma chaine en Anglais mais je n’étais pas content du résultat.

J’ai testé des solutions en ligne comme HeyGen ou ElevenLabs. Je trouve que c’est très cher, les crédits partent à une vitesse folle dès qu’il y a un petit raté et vos données vocales partent sur des serveurs distants.

J’ai aussi testé les outils open source existants et à chaque fois j’avais le même souci : le décalage audio. Le vrai casse-tête du doublage vidéo, c’est que l’audio traduit doit faire exactement la même durée que l’audio d’origine. Si vous passez du français vers l’espagnol, les phrases sont souvent plus longues. Du français vers l’anglais, c’est plus court. Sur YouTube si la piste audio ne colle pas à la durée de la vidéo, elle est refusée.

C’est pour ça que j’ai développé ZastTranslate. Un outil qui gère automatiquement cette synchronisation en local.

Comment fonctionne l’application Zasttranslate

L’interface tourne sous forme d’application web locale dans votre navigateur via Pinokio. À gauche vous avez le lecteur vidéo avec les sous-titres en direct et à droite les onglets de travail.

Étape 1 : Importer sa vidéo

Vous avez deux choix dans l’onglet Import :

• Coller directement une URL YouTube (l’outil télécharge la vidéo dans sa meilleure résolution).
• Glisser un fichier local (MP4, MKV, MOV ou un simple MP3/WAV). Si vous importez une vidéo tournée avec un iPhone au format MOV en HEVC, l’application la convertit automatiquement pour qu’elle tourne sans souci dans le lecteur.

Étape 2 : Séparation voix et musique avec Demucs

La première chose que fait le logiciel, c’est d’utiliser Demucs pour séparer la voix de la musique de fond et des bruitages. C’est indispensable : quand on doublera la vidéo plus tard, la nouvelle voix sera remixée avec votre bande sonore originale au lieu de l’écraser.

Étape 3 : Transcription WhisperX

WhisperX se charge ensuite de retranscrire tout ce qui est dit. Contrairement à Whisper classique, WhisperX fait un alignement phonétique mot par mot pour caler chaque sous-titre à la milliseconde. Le modèle large-v3 donne les meilleurs résultats.

Sur cette version, j’ai ajouté un gros travail de nettoyage pour éviter les sous-titres fantômes d’un seul mot et corriger automatiquement le vocabulaire tech. Une fois la transcription terminée, vous pouvez corriger des phrases directement dans le tableau puis cliquer sur Validate Transcription.

Étape 4 : Traduction et version Fitted

C’est la partie clé de l’outil. Le modèle de langue local (Qwen) traduit le texte et génère deux colonnes :

• Translation : la traduction complète et fidèle.
• Fitted : la version raccourcie et recalibrée pour rentrer pile dans la durée en secondes de la réplique d’origine.

Pour les sous-titres de vos vidéos, vous pouvez utiliser la version normale. Pour le doublage audio en revanche, c’est impératif d’utiliser la colonne Fitted, sinon la voix va déborder sur la scène suivante. Validez ensuite la traduction.

Étape 5 : Synthèse vocale avec VoxCPM 2 (plus de 30 langues)

Pour la génération de la voix, j’utilisais au départ un premier modèle limité à 10 langues. Je suis maintenant passé sur VoxCPM 2, qui prend en charge plus de 30 langues (anglais, espagnol, allemand, italien, japonais, chinois, arabe, russe, portugais, etc.).

Vous avez deux modes :

• Default voice : une voix neutre générée par le modèle.
• Clone from original : le programme prend un échantillon propre de votre voix dans la piste isolée à l’étape 2. Il clone votre timbre et votre intonation pour faire parler votre double dans la langue choisie. C’est franchement bluffant pour un outil gratuit en local.

Vous cliquez sur Assemble Final Video and Audio, le logiciel calcule chaque segment et remixe le tout avec votre musique d’ambiance.

Mon astuce pour YouTube : exporter seulement la piste audio

Plutôt que de réexporter une vidéo complète de 20 minutes (ce qui prend du temps et de la place sur le disque), ce que je fais personnellement pour mes vidéos, c’est d’exporter uniquement le fichier audio WAV et le fichier SRT.

YouTube intègre nativement la fonction de pistes audio multilingues. Sur votre vidéo déjà publiée sur votre chaîne, vous allez dans YouTube Studio, vous ajoutez la piste audio espagnole ou anglaise avec ses sous-titres, et le tour est joué. Vos spectateurs étrangers auront votre voix traduite automatiquement sans que vous ayez à republier une nouvelle vidéo.

Le Mode Bulk : tout sortir en plusieurs langues en un clic

Si vous voulez sortir votre vidéo en 5 ou 6 langues d’un coup, le mode Bulk (onglet 5) est fait pour ça.

Vous cochez toutes vos langues cibles (anglais, espagnol, allemand, japonais…), vous collez votre titre et votre description en français, et vous cliquez sur Run Bulk Process. L’outil enchaîne toutes les traductions, génère les voix clonées, les sous-titres SRT et vous traduit même le titre et la description pour chaque langue. Vous laissez tourner votre PC et vous récupérez un dossier propre prêt pour YouTube Studio.

Les nouveautés : Shorts TikTok et Studio Blog

J’ai profité des dernières versions pour ajouter deux modules bien pratiques :

• Viral Shorts Studio : il détecte automatiquement les moments forts de votre vidéo, les recadre au format vertical 9:16 avec fond flouté, et ajoute des sous-titres animés mot par mot style karaoké TikTok.
• SEO Blog Studio : il capture automatiquement des images nettes en 1080p depuis la vidéo avec un filtre de netteté pour le texte et le code, et prépare un article formaté pour WordPress.

ZastTranslate est disponible gratuitement dans Pinokio. Si vous testez l’outil pour vos propres vidéos, n’hésitez pas à me faire vos retours en commentaire !

La vidéo Tuto Comment doubler une vidéo avec sa propre voix gratuitement IA en local avec ZastTranslate