Je vous explique dans ce tuto Comment créer des animations avec Deforum Stable Diffusion. C’est très simple à faire. Il est possible de faire des vidéos 2D, 3D ou par interpolation.
Récupérer le modèle Stable Diffusion
Tout d’abord, il faut récupérer le dernier modèle disponible sur huggingface.co/CompVis/stable-diffusion.
Il faut le copier sur votre Google Drive dans AI\models (ou un autre si vous changez le lien)
Google Colab
Dans notre cas, nous utilisons Colab Pro (modèle payant), mais le tuto d’origine était sur Colab gratuit. La version gratuite est largement suffisante mais limité. Pour les tutos, nous avons dû faire énormément de tests et nous étions bloqués malheureusement car le temps machine est limité. Il a été nécessaire que nous devions passer en version payante.
Comment configurer Deforum Stable Diffusion
Il faut choisir le type d’animation que vous voulez entre :
- None
- 2D
- 3D
- Video Input
- Interpolation
Selon le choix, les paramètres suivant sont nécessaires mais pas obligatoire comme la translation ou la rotation selon des axes.
Il faut les changer si vous mettez uniquement un prompt. Le rendu final sera beaucoup plus beau.
Les prompts à modifier :
Il sera aussi nécessaire de remplir prompts ou animation_prompts. Je montre dans la vidéo comment faire certains choix.
Si vous avez choisi un max_frames de 600, vous pouvez par exemple mettre de changement d’animation tous les 20 prompts.
Changer les paramètres
On doit changer les settings comme la taille de l’image, steps et le scale sans oublier le batch name (nom du répertoire).
Selon les paramètres, vous aurez pleins d’images comme vous pourrez le voir dans la vidéo. Pour les tests, j’en ai utilisé 20 mais dans d’autres cas, je suis monté à 1660 images pour créer une vidéo. Le temps de rendu devient beaucoup plus long en sachant qu’il dépend aussi du nombre de Steps que vous aurez définis.
Quelques exemples d’images
