Comment fonctionne la perception 3D ZED ?

La ZED est une caméra de vision stéréo passive qui reproduit le fonctionnement de la vision binoculaire humaine. Elle intègre deux capteurs d’image synchronisés, séparés par une distance fixe calibrée en usine appelée base. En identifiant les mêmes caractéristiques visuelles dans les images de gauche et de droite et en mesurant leur décalage horizontal (la disparité), la ZED calcule la distance de chaque pixel par triangulation, créant en temps réel un modèle tridimensionnel dense de la scène observée.

Comme la ZED s’appuie sur la lumière ambiante et la texture naturelle de la scène au lieu de projeter des motifs infrarouges ou des impulsions laser, il s’agit d’un capteur entièrement passif ; plusieurs caméras peuvent fonctionner côte à côte sans interférer les unes avec les autres, en intérieur comme en extérieur, même en plein soleil.

Comment la carte de profondeur est-elle générée ?

La caméra produit un flux vidéo couleur haute résolution, synchronisé au niveau matériel, côte à côte (vues gauche et droite). Le ZED SDK, exécuté sur la machine hôte, rectifie les deux images à l’aide de l’étalonnage d’usine, effectue la mise en correspondance stéréo sur le GPU pour calculer une carte de disparité, puis la convertit en carte de profondeur métrique. Les versions modernes du SDK proposent également une mise en correspondance stéréo basée sur l’IA (modes de profondeur NEURAL), qui améliore considérablement la robustesse sur les surfaces présentant peu de texture ou réfléchissantes.

Les Développeurs ont simultanément accès à :

• Les images couleur synchronisées de gauche et de droite
• La carte de profondeur dense et la carte de confiance
• Un nuage de points 3D avec les couleurs et les normales de surface

Toutes les sorties sont alignées spatialement et temporellement ; il n’est pas nécessaire d’enregistrer un capteur RVB séparé avec les données de profondeur, comme c’est le cas avec la plupart des caméras de profondeur actives.

Comment la vision stéréo se compare-t-elle aux autres technologies de détection de profondeur ?

Les capteurs de profondeur actifs basés sur la lumière structurée ou le temps de vol sont généralement limités aux courtes distances et à une utilisation en intérieur, car la lumière du soleil submerge leur signal infrarouge. Le LiDAR offre de bonnes performances en extérieur, mais fournit des données géométriques éparses, sans couleur, et à un coût plus élevé.

La vision stéréo passive combine les avantages des deux mondes : perception de la profondeur à longue portée (jusqu’à 20 m et au-delà, selon le modèle et la ligne de base), couleur et profondeur en pleine résolution provenant de la même paire de capteurs, ainsi qu’un fonctionnement fiable en intérieur comme en extérieur. Cela rend les caméras ZED adaptées à la robotique, à la réalité augmentée/virtuelle, à l’analyse vidéo, à la sécurité, aux effets visuels, à la logistique, à l’Agriculture et aux applications de numérisation 3D.

Puis-je utiliser la ZED pour compter et suivre des personnes ?

Oui. La longue portée de profondeur de la vision stéréo fait de la ZED une solution adaptée au comptage et au suivi des personnes dans de vastes espaces. De plus, le ZED SDK inclut des modules dédiés de Détection d'objets et de Suivi du corps qui combinent la détection par IA avec les informations de profondeur 3D afin de localiser et de suivre les personnes dans un espace métrique, avec des identifiants uniques et des données de squelette 3D. Gardez à l’esprit que la segmentation fine des petites parties du corps, comme les doigts, est limitée à longue distance, car la résolution de disparité diminue avec la distance.

Bonnes pratiques pour la détection de profondeur stéréo

• Plage de fonctionnement : chaque modèle possède une plage optimale définie par sa base et sa distance focale. En règle générale, la précision de la profondeur est maximale dans la plage proche ; placez la caméra aussi près que possible de la zone d’intérêt, selon ce que permet l’application.
• Texture de la scène : la mise en correspondance stéréo nécessite des caractéristiques visuelles. Les surfaces homogènes, sans texture ou spéculaires (murs blancs, écrans verts, verre, miroirs) peuvent générer une profondeur instable ou manquante. Ajouter de la texture ou utiliser le mode de profondeur NEURAL permet d’atténuer ce problème.
• Éclairage : la ZED utilise des images couleur, et non l’IR, pour percevoir la profondeur ; évitez les environnements très peu éclairés ou ajoutez un éclairage à la scène. En extérieur, la lumière directe du soleil ne pose pas de problème.
• Mouvements rapides : pour capturer des mouvements rapides, utilisez les modes à fréquence d’images élevée (par exemple HD720 @ 60 FPS ou VGA/SVGA @ 100 FPS sur les modèles USB) afin de réduire le flou de mouvement, qui dégrade la mise en correspondance stéréo.
• Extension du câble : la connexion USB 3.0 peut être étendue jusqu’à 15 m avec des câbles d’extension USB 3.0 actifs, et jusqu’à 100 m à l’aide d’extendeurs USB 3.0 à fibre optique. Pour les câblages longs de qualité industrielle et les configurations multicaméras, la famille ZED X utilise une interface GMSL2 conçue pour les systèmes embarqués.

Quelle est la précision de la profondeur ?

La profondeur stéréo est estimée par triangulation à partir de l’image de disparité. La résolution en profondeur suit cette relation :

Dr = Z² * alpha

où Z est la distance jusqu’à la cible et alpha est une constante qui dépend de la base, de la distance focale et de la précision de mise en correspondance des sous-pixels.

En pratique, l’erreur de profondeur augmente de manière quadratique avec la distance : elle est généralement d’environ 1 % de la distance dans la plage proche et peut atteindre plusieurs pour cent à l’extrémité éloignée de la plage. La précision peut également être affectée par des mesures aberrantes sur les surfaces homogènes et sans texture, qui produisent généralement une instabilité temporelle des valeurs de profondeur ; la carte de confiance du SDK peut être utilisée pour filtrer ces pixels peu fiables.