Comment créer des animations avec Deforum Stable Diffusion
Comment créer des animations avec Deforum Stable Diffusion

Comment créer des animations avec Deforum Stable Diffusion

Je vous explique dans ce tuto Comment créer des animations avec Deforum Stable Diffusion. C’est très simple à faire. Il est possible de faire des vidéos 2D, 3D ou par interpolation.

Récupérer le modèle Stable Diffusion

Tout d’abord, il faut récupérer le dernier modèle disponible sur huggingface.co/CompVis/stable-diffusion.

Il faut le copier sur votre Google Drive dans AI\models (ou un autre si vous changez le lien)

Comment créer des animations avec Deforum Stable Diffusion

Google Colab

Dans notre cas, nous utilisons Colab Pro (modèle payant), mais le tuto d’origine était sur Colab gratuit. La version gratuite est largement suffisante mais limité. Pour les tutos, nous avons dû faire énormément de tests et nous étions bloqués malheureusement car le temps machine est limité. Il a été nécessaire que nous devions passer en version payante.

Comment configurer Deforum Stable Diffusion

Il faut choisir le type d’animation que vous voulez entre :

  • None
  • 2D
  • 3D
  • Video Input
  • Interpolation
Deforum Stable Diffusion configurer animation

Selon le choix, les paramètres suivant sont nécessaires mais pas obligatoire comme la translation ou la rotation selon des axes.

Motion parameters Deforum Stable Diffusion

Il faut les changer si vous mettez uniquement un prompt. Le rendu final sera beaucoup plus beau.

Les prompts à modifier :

Prompt Deforum Stable Diffusion

Il sera aussi nécessaire de remplir prompts ou animation_prompts. Je montre dans la vidéo comment faire certains choix.

Si vous avez choisi un max_frames de 600, vous pouvez par exemple mettre de changement d’animation tous les 20 prompts.

Changer les paramètres

On doit changer les settings comme la taille de l’image, steps et le scale sans oublier le batch name (nom du répertoire).

Selon les paramètres, vous aurez pleins d’images comme vous pourrez le voir dans la vidéo. Pour les tests, j’en ai utilisé 20 mais dans d’autres cas, je suis monté à 1660 images pour créer une vidéo. Le temps de rendu devient beaucoup plus long en sachant qu’il dépend aussi du nombre de Steps que vous aurez définis.

Quelques exemples d’images

Star wars Deforum Stable Diffusion
chat Deforum Stable Diffusion
chaton Deforum Stable Diffusion
chaton Deforum Stable Diffusion

Explication en vidéo pour comment créer des animations avec Deforum Stable Diffusion

Plateforme de Gestion des Consentements par Real Cookie Banner