Wie funktioniert die 3D-Wahrnehmung von ZED?

ZED-Stereokameras sind passive Stereo-Vision-Kameras, die die Funktionsweise des menschlichen binokularen Sehens nachbilden. Sie enthalten zwei synchronisierte Bildsensoren, die durch einen festen, werkseitig kalibrierten Abstand voneinander getrennt sind, der als Basisliniebezeichnet wird. Indem dieselben visuellen Merkmale im linken und rechten Bild abgeglichen und ihre horizontale Verschiebung (die Disparität) gemessen werden, berechnet das ZED SDK durch Triangulation die Entfernung jedes Pixels und erstellt in Echtzeit ein dichtes dreidimensionales Modell der beobachteten Szene.

Da ZED-Kameras auf Umgebungslicht und natürlichen Szenentexturen basieren, anstatt Infrarotmuster oder Laserpulse zu projizieren, sind sie vollständig passive Sensoren. Mehrere Kameras können nebeneinander betrieben werden, ohne sich gegenseitig zu stören – sowohl in Innenräumen als auch im Freien, sogar bei direkter Sonneneinstrahlung.

Wie wird die Tiefenkarte erzeugt?

Die Kamera liefert zwei hardware-synchronisierte Farbvideostreams (linke und rechte Ansicht): Die USB-Kameras (ZED 2i, ZED Mini) übertragen sie als Side-by-Side-Stream, während die GMSL2-Kameras (ZED X, ZED X Mini, ZED X Nano) vom ISP des NVIDIA® Jetson™ -Hosts verarbeitet werden. Das ZED SDK entzerrt die beiden Bilder mithilfe der werkseitigen Kalibrierung, führt das Stereo-Matching auf der GPU durch, um eine Disparitätskarte zu berechnen, und wandelt sie in eine metrische Tiefenkarte um. Die KI-basierten NEURONAL-Tiefenmodi verbessern die Robustheit bei Oberflächen mit geringer Textur und reflektierenden Oberflächen erheblich; siehe Tiefenmodi.

Entwickler haben gleichzeitig Zugriff auf:

• Die synchronisierten linken und rechten Farbbilder

• Die dichte Tiefenkarte und Konfidenzkarte

• Eine 3D-Punktwolke mit Farben und Oberflächennormalen

Alle Ausgaben sind räumlich und zeitlich ausgerichtet. Es ist nicht erforderlich, einen separaten RGB-Sensor bei den Tiefendaten zu registrieren, wie es bei den meisten aktiven Tiefenkameras notwendig ist.

Wie schneidet die Stereo-Vision im Vergleich zu anderen Tiefensensorik-Technologien ab?

Aktive Tiefensensoren auf Basis von strukturiertem Licht oder Laufzeitmessung sind in der Regel auf kurze Entfernungen und den Einsatz in Innenräumen beschränkt, da Sonnenlicht ihr Infrarotsignal überstrahlt. LiDAR funktioniert im Freien gut, liefert jedoch spärliche geometrische Daten ohne Farbinformationen und ist teurer.

Passive Stereo-Vision vereint die Stärken beider Ansätze: Tiefenwahrnehmung von wenigen Zentimetern (ZED X Nano) bis zu 35 m (ZED X und ZED 2i mit schmalen Objektiven), Farbe und Tiefe in voller Auflösung vom selben Sensorpaar sowie zuverlässigen Betrieb sowohl in Innenräumen als auch im Freien. Dadurch eignen sich ZED-Kameras für Robotik, AR/VR, Videoanalyse, Sicherheit, VFX, Logistik, Landwirtschaft und 3D-Scan-Anwendungen.

Kann ich die ZED zum Zählen und Verfolgen von Personen verwenden?

Ja. Die große Tiefenreichweite der Stereo-Vision macht ZED-Kameras zu einer guten Lösung für das Zählen und Verfolgen von Personen in großen Bereichen. Darüber hinaus enthält das ZED SDK dedizierte Module für Objekterkennung und Körperspurenverfolgung , die KI-Erkennung mit 3D-Tiefeninformationen kombinieren, um Personen im metrischen Raum mit eindeutigen IDs und 3D-Skelettdaten zu lokalisieren und zu verfolgen. Beachten Sie, dass die präzise Segmentierung kleiner Körperteile wie Finger bei großen Entfernungen eingeschränkt ist, da die Disparitätsauflösung mit zunehmender Entfernung abnimmt.

Bewährte Verfahren für die Stereo-Tiefensensorik

• Arbeitsbereich: Jedes Modell verfügt über einen optimalen Bereich, der durch seine Basislinie und Brennweite bestimmt wird; siehe Welche Reichweite haben die ZED-Kameras bei der Tiefensensorik? Als Faustregel gilt: Die Tiefengenauigkeit ist im Nahbereich am höchsten. Platzieren Sie die Kamera so nah wie möglich am interessierenden Bereich, soweit es die Anwendung erlaubt.

• Szenentextur: Das Stereo-Matching benötigt visuelle Merkmale. Homogene, texturlose oder spiegelnde Oberflächen (weiße Wände, Greenscreens, Glas, Spiegel) können instabile oder fehlende Tiefenwerte erzeugen. Das Hinzufügen von Texturen oder die Verwendung der NEURONAL-Tiefenmodi wirkt dem entgegen.

• Beleuchtung: ZED-Kameras verwenden Farbbilder, nicht IR, zur Tiefenwahrnehmung. Vermeiden Sie Umgebungen mit sehr wenig Licht oder fügen Sie eine Szenenbeleuchtung hinzu. Im Freien stellt direktes Sonnenlicht kein Problem dar.

• Schnelle Bewegungen: Verwenden Sie zur Erfassung schneller Bewegungen die Modi mit hoher Bildrate (HD720 @ 60 FPS oder WVGA @ 100 FPS bei den USB-Kameras, SVGA @ 120 FPS bei den GMSL2-Kameras), um Bewegungsunschärfe zu reduzieren, die das Stereo-Matching beeinträchtigt. Die Global-Shutter-Sensoren der ZED X Familie sind frei von Rolling-Shutter-Verzerrungen.

• Kabellänge: Die ZED 2i unterstützt USB 3.0-Kabel mit einer Länge von bis zu 10 m ohne externe Stromversorgung; siehe Kann ich die ZED-Kamera mit einem USB-3-Verlängerungskabel verwenden? Für lange Kabelverbindungen und Multi-Kamera-Setups verwendet die ZED X Familie eine GMSL2-Schnittstelle, die Videos mit geringer Latenz über bis zu 15 m überträgt.

Wie hoch ist die Tiefengenauigkeit?

Die Stereo-Tiefe wird durch Triangulation aus dem Disparitätsbild geschätzt. Die Tiefenauflösung folgt dieser Beziehung:

Dr = Z² * alpha

wobei Z die Entfernung zum Ziel ist und alpha eine Konstante ist, die von der Basislinie, der Brennweite und der Subpixel-Genauigkeit des Matchings abhängt.

In der Praxis nimmt der Tiefenfehler quadratisch mit der Entfernung zu. Die für jedes Kameramodell angegebene Genauigkeit wird im Artikel zum Tiefenbereich und in den Datenblätternangegeben. Die Genauigkeit kann außerdem durch Ausreißermessungen auf homogenen und texturlosen Oberflächen beeinträchtigt werden, die normalerweise eine zeitliche Instabilität der Tiefenwerte verursachen. Die Konfidenzkarte des SDK kann verwendet werden, um diese unzuverlässigen Pixel herauszufiltern.