Wie funktioniert die 3D-Wahrnehmung von ZED?

Die ZED ist eine passive Stereo-Vision-Kamera, die die Funktionsweise des binokularen menschlichen Sehens nachbildet. Sie enthält zwei synchronisierte Bildsensoren, die durch einen festen, werkseitig kalibrierten Abstand voneinander getrennt sind, der als Basisabstand bezeichnet wird. Durch den Abgleich derselben visuellen Merkmale in den linken und rechten Bildern und die Messung ihrer horizontalen Verschiebung (der Disparität) berechnet die ZED mithilfe der Triangulation die Entfernung jedes Pixels und erstellt in Echtzeit ein dichtes dreidimensionales Modell der beobachteten Szene.

Da die ZED auf Umgebungslicht und natürliche Szenentexturen statt auf die Projektion von Infrarotmustern oder Laserpulsen angewiesen ist, handelt es sich um einen vollständig passiven Sensor; mehrere Kameras können nebeneinander betrieben werden, ohne sich gegenseitig zu stören, sowohl in Innenräumen als auch im Freien, selbst bei direkter Sonneneinstrahlung.

Wie wird die Tiefenkarte erstellt?

Die Kamera gibt einen hochauflösenden, hardware-synchronisierten Side-by-Side-Farbvideostream (linke und rechte Ansicht) aus. Das auf dem Host-Computer ausgeführte ZED SDK entzerrt die beiden Bilder mithilfe der werkseitigen Kalibrierung, führt auf der GPU ein Stereo-Matching zur Berechnung einer Disparitätskarte durch und wandelt diese in eine metrische Tiefenkarte um. Moderne SDK-Versionen bieten außerdem KI-basiertes Stereo-Matching (NEURONAL-Tiefenmodi), das die Robustheit auf texturarmen und reflektierenden Oberflächen deutlich verbessert.

Entwickler haben gleichzeitig Zugriff auf:

• Die synchronisierten linken und rechten Farbbilder
• Die dichte Tiefenkarte und Konfidenzkarte
• Eine 3D-Punktwolke mit Farbe und Oberflächennormalen

Alle Ausgaben sind räumlich und zeitlich ausgerichtet; es ist nicht erforderlich, einen separaten RGB-Sensor für die Tiefendaten zu registrieren, wie es bei den meisten aktiven Tiefenkameras notwendig ist.

Wie schneidet die Stereovision im Vergleich zu anderen Technologien zur Tiefenerfassung ab?

Aktive Tiefensensoren, die auf strukturiertem Licht oder Time-of-Flight basieren, sind typischerweise auf kurze Reichweiten und den Einsatz in Innenräumen beschränkt, da Sonnenlicht ihr Infrarotsignal überstrahlt. LiDAR funktioniert im Außenbereich gut, liefert jedoch ohne Farbinformationen nur spärliche geometrische Daten und ist teurer.

Passive Stereovision vereint die Stärken beider Welten: Tiefenwahrnehmung über große Entfernungen (bis zu 20 m und darüber hinaus, je nach Modell und Basislinie), Farbbilder und Tiefendaten in voller Auflösung vom selben Sensorpaar sowie zuverlässiger Betrieb sowohl in Innenräumen als auch im Freien. Dadurch eignen sich ZED-Kameras für Robotik, AR/VR, Videoanalyse, Sicherheit, VFX, Logistik, Landwirtschaft und 3D-Scanning-Anwendungen.

Kann ich die ZED zur Personen- und Bewegungsverfolgung verwenden?

Ja. Die große Tiefenreichweite der Stereovision macht die ZED zu einer guten Lösung für die Personen- und Bewegungsverfolgung in weitläufigen Bereichen. Darüber hinaus enthält das ZED SDK spezielle Module für Objekterkennung und Körperspurenverfolgung, die KI-Erkennung mit 3D-Tiefeninformationen kombinieren, um Personen im metrischen Raum zu lokalisieren und zu verfolgen, einschließlich eindeutiger IDs und 3D-Skelettdaten. Beachten Sie, dass die präzise Segmentierung kleiner Körperteile, wie etwa Finger, bei großen Entfernungen eingeschränkt ist, da die Disparitätsauflösung mit zunehmender Entfernung abnimmt.

Bewährte Verfahren für die Stereotiefensensorik

• Arbeitsbereich: Jedes Modell verfügt über einen optimalen Bereich, der durch seine Basislänge und Brennweite definiert ist. Als Faustregel gilt: Die Tiefengenauigkeit ist im Nahbereich am höchsten; platzieren Sie die Kamera so nah wie möglich an der relevanten Region, soweit es die Anwendung erlaubt.
• Szenentextur: Für das Stereo-Matching sind visuelle Merkmale erforderlich. Homogene, texturlose oder spiegelnde Oberflächen (weiße Wände, Greenscreens, Glas, Spiegel) können instabile oder fehlende Tiefenwerte erzeugen. Das Hinzufügen von Textur oder die Verwendung des Tiefenmodus NEURONAL wirkt dem entgegen.
• Beleuchtung: Die ZED verwendet Farbbilder, nicht IR, für die Tiefenwahrnehmung; vermeiden Sie Umgebungen mit sehr wenig Licht oder sorgen Sie für eine zusätzliche Beleuchtung der Szene. Im Freien stellt direktes Sonnenlicht kein Problem dar.
• Schnelle Bewegungen: Verwenden Sie zur Erfassung schneller Bewegungen die Modi mit hoher Bildrate (beispielsweise HD720 @ 60 FPS oder VGA/SVGA @ 100 FPS bei USB-Modellen), um Bewegungsunschärfe zu reduzieren, die das Stereo-Matching beeinträchtigt.
• Kabelverlängerung: Die USB 3.0-Verbindung kann mit aktiven USB 3.0-Verlängerungskabeln auf bis zu 15 m und mit Glasfaser-USB-3.0-Extendern auf bis zu 100 m verlängert werden. Für industrielle Verkabelungen über große Entfernungen und Setups mit mehreren Kameras verwendet die ZED X-Familie eine für eingebettete Systeme entwickelte GMSL2-Schnittstelle.

Wie hoch ist die Tiefengenauigkeit?

Die Stereotiefe wird durch Triangulation aus dem Disparitätsbild geschätzt. Die Tiefenauflösung folgt dieser Beziehung:

Dr = Z² * alpha

Dabei ist Z die Entfernung zum Ziel und alpha eine Konstante, die von der Basislänge, der Brennweite und der Subpixel-Genauigkeit des Matchings abhängt.

In der Praxis nimmt der Tiefenfehler quadratisch mit der Entfernung zu: Im Nahbereich beträgt er typischerweise etwa 1 % der Entfernung und kann am äußersten Ende des Bereichs mehrere Prozent erreichen. Die Genauigkeit kann auch durch Ausreißermessungen auf homogenen und texturlosen Oberflächen beeinträchtigt werden, die normalerweise eine zeitliche Instabilität der Tiefenwerte verursachen; die Konfidenzkarte des SDK kann verwendet werden, um diese unzuverlässigen Pixel zu filtern.