¿Cómo funciona la percepción 3D de ZED?

Las cámaras estéreo ZED son cámaras de visión estéreo pasiva que reproducen el funcionamiento de la visión binocular humana. Incorporan dos sensores de imagen sincronizados, separados por una distancia fija calibrada en fábrica denominada línea base. Al hacer coincidir las mismas características visuales en las imágenes izquierda y derecha y medir su desplazamiento horizontal (la disparidad), el ZED SDK calcula la distancia de cada píxel mediante triangulación, creando un modelo tridimensional denso de la escena observada en tiempo real.

Dado que las cámaras ZED dependen de la luz ambiental y de la textura natural de la escena, en lugar de proyectar patrones infrarrojos o pulsos láser, son sensores completamente pasivos; varias cámaras pueden funcionar una junto a otra sin interferir entre sí, tanto en interiores como en exteriores, incluso bajo la luz solar directa.

¿Cómo se genera el mapa de profundidad?

La cámara proporciona dos flujos de vídeo en color sincronizados por hardware (vistas izquierda y derecha): las cámaras USB (ZED 2i, ZED Mini) los envían como un flujo lado a lado, mientras que las cámaras GMSL2 (ZED X, ZED X Mini, ZED X Nano) son procesadas por el ISP del equipo host NVIDIA® Jetson™ . El ZED SDK rectifica las dos imágenes mediante la calibración de fábrica, realiza la correspondencia estéreo en la GPU para calcular un mapa de disparidad y lo convierte en un mapa de profundidad métrico. Los modos de profundidad NEURAL basados en IA mejoran significativamente la robustez en superficies con poca textura y reflectantes; consulta Modos de profundidad.

Los Desarrolladores tienen acceso simultáneo a:

• Las imágenes en color izquierda y derecha sincronizadas

• El mapa de profundidad denso y el mapa de confianza

• Una nube de puntos 3D con color y normales de superficie

Todas las salidas están alineadas espacial y temporalmente; no es necesario registrar un sensor RGB independiente con los datos de profundidad, como ocurre con la mayoría de las cámaras de profundidad activas.

¿Cómo se compara la visión estéreo con otras tecnologías de detección de profundidad?

Los sensores de profundidad activos basados en luz estructurada o tiempo de vuelo suelen estar limitados a distancias cortas y al uso en interiores, ya que la luz solar satura su señal infrarroja. LiDAR funciona bien en exteriores, pero proporciona datos geométricos dispersos sin color y a un coste mayor.

El estéreo pasivo combina las ventajas de ambos mundos: percepción de profundidad desde unos pocos centímetros (ZED X Nano) hasta 35 m (ZED X y ZED 2i con lentes estrechas), color y profundidad a resolución completa del mismo par de sensores, y funcionamiento fiable tanto en interiores como en exteriores. Esto hace que las cámaras ZED sean adecuadas para aplicaciones de robótica, RA/RV, análisis de vídeo, seguridad, efectos visuales, logística, agricultura y escaneo 3D.

¿Puedo usar la ZED para contar y hacer seguimiento de personas?

Sí. El amplio alcance de profundidad de la visión estéreo hace que las cámaras ZED sean adecuadas para contar y hacer seguimiento de personas en áreas grandes. Además, el ZED SDK incluye módulos específicos de Detección de objetos y Seguimiento del cuerpo que combinan la detección mediante IA con información de profundidad 3D para localizar y seguir personas en un espacio métrico, con identificadores únicos y datos de esqueletos 3D. Ten en cuenta que la segmentación detallada de partes pequeñas del cuerpo, como los dedos, está limitada a largas distancias porque la resolución de la disparidad disminuye con la distancia.

Buenas prácticas para la detección de profundidad estéreo

• Rango de trabajo: cada modelo tiene un rango óptimo definido por su línea base y distancia focal; consulta Para la detección de profundidad, ¿cuál es el alcance de las cámaras ZED? Como regla general, la precisión de profundidad es mayor en distancias cortas; coloca la cámara lo más cerca posible de la región de interés, según lo permita la aplicación.

• Textura de la escena: la correspondencia estéreo necesita características visuales. Las superficies homogéneas, sin textura o especulares (paredes blancas, pantallas verdes, vidrio, espejos) pueden generar una profundidad inestable o ausente. Añadir textura o usar los modos de profundidad NEURAL ayuda a mitigar este problema.

• Iluminación: las cámaras ZED utilizan imágenes en color, no IR, para percibir la profundidad; evita los entornos con muy poca luz o añade iluminación a la escena. En exteriores, la luz solar directa no supone un problema.

• Movimiento rápido: para capturar movimientos rápidos, utiliza los modos de alta frecuencia de imágenes (HD720 @ 60 FPS o WVGA @ 100 FPS en las cámaras USB, SVGA @ 120 FPS en las cámaras GMSL2) para reducir el desenfoque de movimiento, que degrada la correspondencia estéreo. Los sensores de obturador global de la familia ZED X no sufren distorsión por obturador rodante.

• Longitud del cable: la ZED 2i admite cables USB 3.0 de hasta 10 m sin fuente de alimentación externa; consulta ¿Puedo usar la cámara ZED con un cable de extensión USB 3? Para cableados largos y configuraciones con varias cámaras, la familia ZED X utiliza una interfaz GMSL2 que transmite vídeo hasta 15 m con baja latencia.

¿Cuál es la precisión de profundidad?

La profundidad estéreo se estima mediante triangulación a partir de la imagen de disparidad. La resolución de profundidad sigue esta relación:

Dr = Z² * alpha

donde Z es la distancia al objetivo y alpha es una constante que depende de la línea base, la distancia focal y la precisión de correspondencia subpíxel.

En la práctica, el error de profundidad crece cuadráticamente con la distancia. La precisión especificada para cada modelo de cámara se indica en el artículo sobre el rango de profundidad y en las hojas de datos. La precisión también puede verse afectada por mediciones atípicas en superficies homogéneas y sin textura, que normalmente producen inestabilidad temporal en los valores de profundidad; el mapa de confianza del SDK puede utilizarse para filtrar estos píxeles poco fiables.