Come funziona la percezione 3D di ZED?

Le telecamere stereo ZED sono telecamere di visione stereo passive che riproducono il funzionamento della visione binoculare umana. Integrano due sensori di immagine sincronizzati, separati da una distanza fissa e calibrata in fabbrica chiamata baseline. Confrontando le stesse caratteristiche visive nelle immagini sinistra e destra e misurandone lo spostamento orizzontale (la disparità), lo ZED SDK calcola la distanza di ogni pixel tramite triangolazione, costruendo in tempo reale un modello tridimensionale denso della scena osservata.

Poiché le telecamere ZED si basano sulla luce ambientale e sulla texture naturale della scena anziché proiettare pattern a infrarossi o impulsi laser, sono sensori completamente passivi; più telecamere possono funzionare affiancate senza interferire tra loro, al chiuso e all'aperto, anche alla luce diretta del sole.

Come viene generata la mappa di profondità?

La telecamera fornisce due flussi video a colori sincronizzati tramite hardware (viste sinistra e destra): le telecamere USB (ZED 2i, ZED Mini) li inviano come flusso affiancato, mentre le telecamere GMSL2 (ZED X, ZED X Mini, ZED X Nano) vengono elaborate dall'ISP dell'host NVIDIA® Jetson™ . Lo ZED SDK rettifica le due immagini utilizzando la calibrazione di fabbrica, esegue il matching stereo sulla GPU per calcolare una mappa di disparità e la converte in una mappa di profondità metrica. Le modalità di profondità NEURALE basate sull'IA migliorano significativamente la robustezza sulle superfici con texture ridotta e riflettenti; vedere Modalità di profondità.

Gli Sviluppatori hanno accesso simultaneo a:

• Le immagini a colori sinistra e destra sincronizzate

• La mappa di profondità densa e la mappa di confidenza

• Una nuvola di punti 3D con colori e normali di superficie

Tutti gli output sono allineati nello spazio e nel tempo; non è necessario registrare un sensore RGB separato con i dati di profondità, come richiesto dalla maggior parte delle telecamere di profondità attive.

Come si confronta la visione stereo con altre tecnologie di rilevamento della profondità?

I sensori di profondità attivi basati sulla luce strutturata o sul Time-of-Flight sono generalmente limitati alla breve distanza e all'uso in ambienti interni, poiché la luce solare sovrasta il loro segnale a infrarossi. Il LiDAR funziona bene all'aperto, ma fornisce dati geometrici sparsi senza colori e a un costo maggiore.

La visione stereo passiva combina i punti di forza di entrambi gli approcci: percezione della profondità da pochi centimetri (ZED X Nano) fino a 35 m (ZED X e ZED 2i con obiettivi stretti), colori e profondità a piena risoluzione dalla stessa coppia di sensori e funzionamento affidabile sia al chiuso sia all'aperto. Questo rende le telecamere ZED adatte ad applicazioni di robotica, AR/VR, analisi video, sicurezza, VFX, logistica, Agricoltura e scansione 3D.

Posso usare ZED per il conteggio e il tracciamento delle persone?

Sì. L'ampia portata di profondità della visione stereo rende le telecamere ZED adatte al conteggio e al tracciamento delle persone in aree estese. Inoltre, lo ZED SDK include moduli dedicati di Rilevamento oggetti e Tracciamento del corpo che combinano il rilevamento basato sull'IA con le informazioni di profondità 3D per localizzare e tracciare le persone nello spazio metrico, con ID univoci e dati dello scheletro 3D. È importante tenere presente che la segmentazione dettagliata di parti del corpo piccole, come le dita, è limitata a lunga distanza perché la risoluzione della disparità diminuisce con la distanza.

Buone pratiche per il rilevamento della profondità stereo

• Distanza operativa: ogni modello ha una distanza ottimale definita dalla sua baseline e dalla lunghezza focale; vedere Per il rilevamento della profondità, qual è la portata delle telecamere ZED? Come regola generale, la precisione della profondità è massima a distanza ravvicinata; posizionare la telecamera il più vicino possibile alla regione di interesse, nei limiti consentiti dall'applicazione.

• Texture della scena: il matching stereo richiede caratteristiche visive. Le superfici omogenee, prive di texture o speculari (pareti bianche, green screen, vetro, specchi) possono generare una profondità instabile o assente. L'aggiunta di texture o l'uso delle modalità di profondità NEURALE riduce questo problema.

• Illuminazione: le telecamere ZED utilizzano immagini a colori, non IR, per la percezione della profondità; evitare ambienti con illuminazione molto scarsa o aggiungere illuminazione alla scena. All'aperto, la luce solare diretta non è un problema.

• Movimenti rapidi: per acquisire movimenti rapidi, utilizzare le modalità con frequenza dei fotogrammi elevata (HD720 @ 60 FPS o WVGA @ 100 FPS sulle telecamere USB, SVGA @ 120 FPS sulle telecamere GMSL2) per ridurre il motion blur, che degrada il matching stereo. I sensori con otturatore globale della Famiglia ZED X sono privi della distorsione da rolling shutter.

• Lunghezza del cavo: ZED 2i supporta cavi USB 3.0 fino a 10 m senza alimentazione esterna; vedere Posso usare la telecamera ZED con un cavo di prolunga USB 3? Per i cablaggi lunghi e le configurazioni con più telecamere, la Famiglia ZED X utilizza un'interfaccia GMSL2 che trasmette video fino a 15 m con bassa latenza.

Qual è la precisione della profondità?

La profondità stereo viene stimata tramite triangolazione a partire dall'immagine della disparità. La risoluzione della profondità segue questa relazione:

Dr = Z² * alpha

dove Z è la distanza dal bersaglio e alpha è una costante che dipende dalla baseline, dalla lunghezza focale e dalla precisione sub-pixel del matching.

In pratica, l'errore di profondità cresce quadraticamente con la distanza. La precisione specificata per ogni modello di telecamera è riportata nell' articolo sulla portata della profondità e nelle schede tecniche. La precisione può essere influenzata anche da misurazioni anomale su superfici omogenee e prive di texture, che generalmente producono instabilità temporale nei valori di profondità; la mappa di confidenza dell'SDK può essere utilizzata per filtrare questi pixel inaffidabili.