Comment fonctionne la perception 3D ZED ?

Les caméras stéréo ZED sont des caméras de vision stéréo passives qui reproduisent le fonctionnement de la vision binoculaire humaine. Elles intègrent deux capteurs d’image synchronisés, séparés par une distance fixe étalonnée en usine appelée base stéréo. En faisant correspondre les mêmes caractéristiques visuelles dans les images gauche et droite et en mesurant leur décalage horizontal (la disparité), le ZED SDK calcule la distance de chaque pixel par triangulation, créant en temps réel un modèle tridimensionnel dense de la scène observée.

Comme les caméras ZED s’appuient sur la lumière ambiante et la texture naturelle de la scène plutôt que de projeter des motifs infrarouges ou des impulsions laser, ce sont des capteurs entièrement passifs ; plusieurs caméras peuvent fonctionner côte à côte sans interférer les unes avec les autres, en intérieur comme en extérieur, même en plein soleil.

Comment la carte de profondeur est-elle générée ?

La caméra fournit deux flux vidéo couleur synchronisés matériellement (vues gauche et droite) : les caméras USB (ZED 2i, ZED Mini) les transmettent sous forme de flux côte à côte, tandis que les caméras GMSL2 (ZED X, ZED X Mini, ZED X Nano) sont traitées par l’ISP de l’hôte® Jetson™ NVIDIA. Le ZED SDK rectifie les deux images à l’aide de l’étalonnage d’usine, effectue la mise en correspondance stéréo sur le GPU pour calculer une carte de disparité, puis la convertit en carte de profondeur métrique. Les modes de profondeur NEURAL basés sur l’IA améliorent considérablement la robustesse sur les surfaces à faible texture et réfléchissantes ; consultez Modes de profondeur.

Les Développeurs ont simultanément accès à :

• Les images couleur gauche et droite synchronisées

• La carte de profondeur dense et la carte de confiance

• Un nuage de points 3D avec les couleurs et les normales de surface

Toutes les sorties sont alignées spatialement et temporellement ; il n’est pas nécessaire d’enregistrer un capteur RGB distinct avec les données de profondeur, comme c’est le cas avec la plupart des caméras de profondeur actives.

Comment la vision stéréo se compare-t-elle aux autres technologies de détection de profondeur ?

Les capteurs de profondeur actifs basés sur la lumière structurée ou le temps de vol sont généralement limités aux courtes distances et à une utilisation en intérieur, car la lumière du soleil submerge leur signal infrarouge. Le LiDAR fonctionne bien en extérieur, mais fournit des données géométriques éparses, sans couleur, et à un coût plus élevé.

La stéréo passive combine les points forts des deux approches : perception de la profondeur de quelques centimètres (ZED X Nano) jusqu’à 35 m (ZED X et ZED 2i avec des objectifs étroits), couleur et profondeur en pleine résolution issues de la même paire de capteurs, et fonctionnement fiable en intérieur comme en extérieur. Cela fait Caméras ZED adaptées aux applications de robotique, de réalité augmentée/virtuelle, d’analyse vidéo, de sécurité, d’effets visuels, de logistique, d’agriculture et de numérisation 3D.

Puis-je utiliser la ZED pour compter et suivre les personnes ?

Oui. La longue portée de profondeur de la vision stéréo fait des caméras ZED une solution adaptée au comptage et au suivi des personnes dans de grandes zones. De plus, le ZED SDK inclut des modules dédiés à la Détection d'objets et au Suivi du corps qui combinent la détection par IA avec des informations de profondeur 3D afin de localiser et de suivre les personnes dans un espace métrique, avec des identifiants uniques et des données de squelette 3D. Gardez à l’esprit que la segmentation fine des petites parties du corps, comme les doigts, est limitée à longue distance, car la résolution de la disparité diminue avec la distance.

Bonnes pratiques pour la détection de profondeur stéréo

• Plage de fonctionnement: chaque modèle possède une plage optimale définie par sa base stéréo et sa longueur focale ; consultez Pour la détection de profondeur, quelle est la portée des caméras ZED ? En règle générale, la précision de la profondeur est la plus élevée à courte distance ; placez la caméra aussi près que l’application le permet de la région d’intérêt.

• Texture de la scène: la mise en correspondance stéréo nécessite des caractéristiques visuelles. Les surfaces homogènes, sans texture ou spéculaires (murs blancs, écrans verts, verre, miroirs) peuvent produire une profondeur instable ou manquante. L’ajout de texture ou l’utilisation des modes de profondeur NEURAL permet d’atténuer ce problème.

• Éclairage: les caméras ZED utilisent des images couleur, et non infrarouges, pour percevoir la profondeur ; évitez les environnements très peu éclairés ou ajoutez un éclairage à la scène. En extérieur, la lumière directe du soleil ne pose pas de problème.

• Mouvements rapides: pour capturer des mouvements rapides, utilisez les modes à fréquence d’images élevée (HD720 @ 60 FPS ou WVGA @ 100 FPS sur les caméras USB, SVGA @ 120 FPS sur les caméras GMSL2) afin de réduire le flou de mouvement, qui dégrade la mise en correspondance stéréo. Les capteurs à obturateur global de la famille ZED X ne sont pas sujets à la distorsion liée à l’obturateur déroulant.

• Longueur du câble: la ZED 2i prend en charge les câbles USB 3.0 jusqu’à 10 m sans alimentation externe ; consultez Puis-je utiliser la caméra ZED avec une rallonge USB 3 ? Pour les câblages longs et les configurations multi-caméras, la famille ZED X utilise une interface GMSL2 qui transmet la vidéo jusqu’à 15 m avec une faible latence.

Quelle est la précision de la profondeur ?

La profondeur stéréo est estimée par triangulation à partir de l’image de disparité. La résolution de profondeur suit cette relation :

Dr = Z² * alpha

où Z est la distance jusqu’à la cible et alpha est une constante qui dépend de la base stéréo, de la longueur focale et de la précision de mise en correspondance sous-pixel.

En pratique, l’erreur de profondeur augmente de manière quadratique avec la distance. La précision spécifiée pour chaque modèle de caméra est indiquée dans l’ article sur la plage de profondeur et dans les fiches techniques. La précision peut également être affectée par des mesures aberrantes sur des surfaces homogènes et sans texture, qui produisent généralement une instabilité temporelle des valeurs de profondeur ; la carte de confiance du SDK peut être utilisée pour filtrer ces pixels peu fiables.