Camera tracking dans Blender : suivre une vidéo et y incruster de la 3D

Les menus, cités en anglais, sont vérifiés dans le manuel et le code source de Blender 5.2.

Qu’est-ce que le camera tracking ?

Le camera tracking (suivi de caméra), aussi appelé matchmoving, sert à incruster de la 3D dans une vidéo filmée. Pour qu’un objet ajouté semble posé dans le décor, la caméra virtuelle doit bouger exactement comme la vraie. Le manuel de Blender décompose le calcul en trois étapes : suivre des détails de l’image d’une image à l’autre, renseigner la focale et la distorsion de l’objectif, puis résoudre (solve) le mouvement de la caméra et la position en 3D des points suivis. La contrainte Camera Solver fait ensuite imiter ce mouvement à une caméra de la scène.

Pour juger le résultat, Blender reprojette les points 3D sur l’image et mesure l’écart moyen avec les marqueurs : c’est la Solve Error, en pixels. Le calcul a besoin de parallaxe, ce glissement des objets proches devant les objets lointains quand la caméra se déplace. Motion tracking est le nom de l’outil : selon le manuel, il suit des objets ou une caméra. Un camera tracker désigne tout outil qui fait ce calcul ; celui de Blender est intégré au Movie Clip Editor.

Et en production virtuelle ?

En production virtuelle (virtual production), le suivi a lieu pendant le tournage. D’après la documentation d’Unreal Engine sur l’in-camera VFX, un système de suivi transmet en direct la position et le mouvement de la caméra réelle au moteur, qui rend le décor sous la bonne perspective sur des murs de LED. Il repère des marqueurs avec des caméras infrarouges, reconnaît des éléments du décor ou utilise des capteurs inertiels, souvent combinés. Le motion tracking de Blender travaille après coup, sur les images enregistrées.

Avant de commencer : un plan qui se suit bien

• Du déplacement : le solve classique exige une parallaxe nette. Si la caméra pivote sans se déplacer, sur un pied, l’option Tripod ne calcule que la rotation.
• Des détails fixes et contrastés, visibles longtemps. Le manuel cite les arbres et les personnes parmi les zones à écarter.
• Assez de pistes : au moins huit communes aux deux images clés. La vue Dope Sheet colore en rouge les images suivies par moins de huit pistes, en jaune celles qui en ont de huit à seize.
• La focale et la largeur du capteur, lues sur la fiche technique de l’appareil : un mouvement de caméra exact exige la focale exacte.

Étape 1 : ouvrir la vidéo dans le workspace Motion Tracking

1. Cliquez sur le bouton + (Add Workspace) de la barre des workspaces, puis VFX > Motion Tracking. Les outils de suivi sont réunis dans le Movie Clip Editor.
2. Ouvrez la vidéo ou la séquence d’images : Clip > Open Clip (Alt+O).
3. Cliquez sur Set Scene Frames (barre d’outils, onglet Track, panneau Clip) : la fin de la scène s’aligne sur la durée de la vidéo.
4. Cliquez sur Prefetch (P) : Blender charge autant d’images que le cache peut en contenir avant le suivi.

La barre d’outils (T) a deux onglets, Track et Solve ; la barre latérale (N) réunit la caméra et le marqueur actif dans son onglet Track. Les menus circulaires E, Shift+S et Shift+W regroupent le suivi, le solve et la reconstruction.

Étape 2 : renseigner la focale et le capteur

Dans la barre latérale, onglet Track, ouvrez le panneau Camera. À l’ouverture d’une vidéo, Blender part d’une focale de 24 mm sur un capteur de 35 mm de large : remplacez ces valeurs.

• Sensor Width : la largeur du capteur en millimètres. Les préréglages de l’en-tête proposent Fullframe (36 mm), APS-C (23,6 mm), MFT (17,3 mm) et des caméras Arri, Blackmagic ou RED.
• Focal Length (sous-panneau Lens) : la focale du tournage, en millimètres ou en pixels selon Units.
• Optical Center : le plus souvent au centre de l’image. Les préréglages ne le remplissent pas, pas plus que la distorsion.

Une focale connue à peu près peut être affinée par le solve (Refine, étape 6), à condition de partir d’une valeur proche. Focale et capteur côté 3D sont expliqués dans le guide de la caméra dans Blender.

Étape 3 : placer les marqueurs

Un marqueur a deux zones : le motif (pattern), le détail à reconnaître, et la zone de recherche (search), plus grande, où Blender le cherche sur l’image suivante ; 21 et 71 pixels par défaut.

• À la main : Ctrl+clic pose un marqueur là où vous cliquez ; tant que le bouton reste enfoncé, vous pouvez l’ajuster.
• Automatiquement : Detect Features (onglet Track, panneau Marker) place des marqueurs sur les détails de l’image courante. Placement limite la recherche à l’intérieur ou à l’extérieur d’une zone tracée avec l’outil Annotation ; Margin (16 pixels) écarte les bords ; un Threshold plus haut que 0,5 retient moins de détails, mais plus solides ; Distance (120 pixels) espace les marqueurs, car trop serrés ils troublent le solveur.

Detect Features ignore les autres images : il peut retenir des objets en mouvement. Le manuel conseille de partir du milieu du plan et de suivre vers l’arrière puis vers l’avant.

Le panneau Tracking Settings règle les nouveaux marqueurs, avec quatre préréglages : Default, Blurry Footage, Fast Motion et Planar. Motion Model fixe les déformations permises, de Location (par défaut) à Perspective pour les surfaces planes. Match sur Keyframe évite au marqueur de glisser, Previous Frame suit mieux les grandes transformations au risque d’une dérive. Correlation (0,75, sous-panneau Tracking Settings Extra) : baissez-la si le suivi s’arrête trop tôt, montez-la si le marqueur glisse.

Étape 4 : suivre les marqueurs (Track Markers)

Sélectionnez les marqueurs (A), puis Ctrl+T suit vers l’avant jusqu’à la fin, Shift+Ctrl+T vers l’arrière, et Alt+→ ou Alt+← avance d’une seule image. Un marqueur perdu pendant un suivi de toute la séquence est désactivé, les autres continuent. L’aperçu du panneau Track de la barre latérale montre le motif et permet de recaler un marqueur qui a glissé. Quand un détail disparaît puis revient, replacez le marqueur et lancez Track > Refine.

Étape 5 : écarter les mauvais marqueurs

• Filter Tracks (onglet Solve, panneau Clean Up) supprime les pistes de moins de dix images, puis sélectionne celles qui s’écartent du mouvement moyen de plus de 5 pixels sur une image. Vérifiez avant de supprimer avec X.
• Le Graph View (sélecteur View de l’en-tête) trace la vitesse des marqueurs : un pic isolé signale en général une erreur de suivi.
• Après un solve, Clean Tracks vise les pistes plus courtes que Frames ou dont l’erreur dépasse Error, avec l’action choisie dans Type : Select, Delete Track ou Delete Segments.

Pour une piste utile qui décroche par moments, animez plutôt son Weight (panneau Track de la barre latérale) : selon le manuel, baisser ce poids réduit les sauts quand un détail disparaît.

Étape 6 : images clés et Solve Camera Motion

Dans l’onglet Solve, panneau Solve :

1. Keyframe A et Keyframe B (1 et 30 par défaut) bornent la plage qui initialise la reconstruction : au moins huit pistes communes et une parallaxe visible. La case Keyframe laisse Blender chercher la paire la plus favorable.
2. Tripod : seulement pour une caméra qui pivote sans se déplacer ; selon le manuel, cinq à dix pistes par image sont l’usage courant.
3. Refine : Focal Length si la focale est approximative, Radial Distortion si l’objectif déforme l’image.
4. Cliquez sur Solve Camera Motion.

L’erreur moyenne apparaît dans l’en-tête du Movie Clip Editor (« Solve error: 0.25 px », par exemple), et Blender donne à la caméra de la scène la focale du suivi.

Si l’erreur est trop haute, la vue Dope Sheet trie par défaut les pistes par Average Error, les pires en tête : corrigez-les ou supprimez-les, vérifiez la focale, relancez. Dans le Graph View, la courbe bleue de l’erreur par image doit rester plate et proche de zéro ; ses pics montrent où le suivi est imprécis.

Étape 7 : la distorsion de l’objectif

Selon le manuel, toutes les caméras enregistrent une image déformée, alors que le rendu 3D n’a aucune distorsion. Le sous-panneau Lens propose quatre modèles dans Lens Distortion : Polynomial (K1 à K3), Division (fortes distorsions, objectifs fisheye), Nuke (celui du compositeur Nuke) et Brown (radial K1 à K4, tangentiel P1 et P2). Un K positif donne un barillet, un K négatif un coussinet.

Pour régler à l’œil, affichez la grille (Overlays, Guides > Distortion Grid) ou tracez avec l’outil Annotation un trait sur une ligne qui devrait être droite, puis ajustez les coefficients jusqu’à ce qu’il suive l’image ; Clip Display > Render Undistorted montre la vidéo corrigée. Pour plus de précision, le manuel renvoie à la calibration par grille d’OpenCV, qui utilise le même modèle.

Étape 8 : Setup Tracking Scene

Une fois la caméra résolue, l’onglet Solve, panneau Scene Setup, propose Setup Tracking Scene, grisé tant qu’aucune reconstruction n’est valide. D’après le code de Blender 5.2, il :

• efface les contraintes de la caméra de la scène et lui ajoute une contrainte Camera Solver, avec la focale, le capteur et le centre optique du suivi ;
• affiche la vidéo en fond de caméra et active le flou de mouvement du rendu ;
• crée les view layers Foreground et Background et les collections foreground et background, réglées en Holdout et Indirect Only pour séparer objets et ombres ;
• ajoute un plan Ground de 8 unités de côté en Shadow Catcher, plus un cube de test et une lampe si la scène n’en a pas ;
• crée l’arbre de compositing « Tracking Setup » : vidéo corrigée par un nœud Movie Distortion (Undistort), puis deux nœuds Alpha Over posent les ombres et les objets par-dessus. L’ancien arbre est gardé avec un Fake User.

Le manuel le présente comme un point de départ : un travail plus complexe demande un arbre de nœuds construit à la main.

Étape 9 : orienter la scène (Floor, Set Origin, Set Scale)

Les outils du panneau Orientation (onglet Solve) placent la scène filmée dans la scène 3D en transformant la caméra. Sélectionnez les marqueurs avant chaque clic :

1. Floor : trois marqueurs du sol, ramenés à Z = 0 (Wall fait de même pour un mur).
2. Set Origin : le marqueur choisi devient l’origine, par une simple translation ; prenez-le au sol pour que le sol reste à Z = 0.
3. Set X Axis ou Set Y Axis : un marqueur qui donne la direction de l’axe, sans déplacer l’origine.
4. Set Scale : deux marqueurs dont vous connaissez l’écart réel, saisi dans Distance (1 unité par défaut).

Placez ensuite vos objets en vous servant du plan Ground pour les aligner sur le sol filmé, comme le conseille le manuel, et du cube de test pour vérifier que le mouvement suit l’image.

Étape 10 : ombres, rendu et compositing

Le plan qui remplace le sol porte l’option Object Properties > Visibility > Mask > Shadow Catcher : il ne rend que les ombres et les reflets qu’il reçoit, comme un objet déjà présent dans la vidéo. Elle n’existe que dans Cycles ; sous EEVEE, la section Mask ne propose que Holdout.

Cochez Render Properties > Film > Transparent, qui rend le fond transparent pour composer l’image sur un autre fond. Setup Tracking Scene ne le fait pas, et un rendu opaque cacherait la vidéo dans le nœud Alpha Over. Par défaut, le Shadow Catcher n’agit que sur l’alpha de la passe Combined ; pour garder la lumière indirecte colorée, les notes de Blender 3.0 recommandent de multiplier la vidéo par la passe Shadow Catcher (View Layer Properties > Passes > Light, section Other), puis d’y poser la passe Combined avec un Alpha Over.

Pour la distorsion, le manuel conseille de déformer le rendu (Movie Distortion en Distort) quand l’image filmée est bombée vers l’extérieur, et de corriger la vidéo quand elle est creusée vers l’intérieur, faute de pixels sur les bords sinon. Éclairez la 3D comme le tournage, par exemple avec une HDRI dans Blender ou les lampes décrites dans le guide de l’éclairage dans Blender. Vérifiez que Output Properties > Post Processing > Compositing est coché, puis Render > Render Animation ; le guide pour enregistrer une animation Blender aide à choisir le format. Le Shadow Catcher impose Cycles, et le plan compte autant d’images à rendre que la vidéo : les réglages qui réduisent ce temps sont dans le guide pour accélérer un rendu Blender.

Ce qui a changé depuis les tutoriels pour Blender 2.8

D’après les notes de version 4.5 à 5.2, le suivi n’a reçu que des retouches. Le compositing, lui, a changé en 5.0, et les anciens tutoriels ne correspondent plus à l’écran :

Suivre un objet ou une surface plane

Le panneau Objects (barre latérale, onglet Track) accepte d’autres objets de suivi que la caméra : suivez un objet mobile avec les mêmes étapes, puis reliez-lui un objet 3D par la contrainte Object Solver. Pour remplacer un écran ou une affiche, Create Plane Track (onglet Solve) demande au moins quatre pistes sur le plan, et le nœud Plane Track Deform y projette une image. Les masques qui suivent un sujet sont traités dans le guide de la rotoscopie dans Blender.