Como funciona a percepção 3D da ZED?

As câmeras estéreo ZED são câmeras de visão estéreo passiva que reproduzem a maneira como a visão binocular humana funciona. Elas incorporam dois sensores de imagem sincronizados, separados por uma distância fixa, calibrada na fábrica, chamada baseline. Ao corresponder os mesmos recursos visuais nas imagens esquerda e direita e medir seu deslocamento horizontal (a disparidade), o ZED SDK calcula a distância de cada pixel por triangulação, construindo um modelo tridimensional denso da cena observada em tempo real.

Como as câmeras ZED dependem da luz ambiente e da textura natural da cena, em vez de projetar padrões infravermelhos ou pulsos de laser, elas são sensores totalmente passivos; várias câmeras podem operar lado a lado sem interferir umas nas outras, em ambientes internos e externos, mesmo sob luz solar direta.

Como o mapa de profundidade é gerado?

A câmera fornece dois fluxos de vídeo colorido sincronizados por hardware (visões esquerda e direita): as câmeras USB (ZED 2i, ZED Mini) os enviam como um fluxo lado a lado, enquanto as câmeras GMSL2 (ZED X, ZED X Mini, ZED X Nano) são processadas pelo ISP do host NVIDIA® Jetson™ . O ZED SDK retifica as duas imagens usando a calibração de fábrica, realiza a correspondência estéreo na GPU para calcular um mapa de disparidade e o converte em um mapa de profundidade métrica. Os modos de profundidade NEURAL baseados em IA melhoram significativamente a robustez em superfícies com pouca textura e refletivas; consulte Modos de profundidade.

Os Desenvolvedores têm acesso simultâneo a:

• As imagens coloridas esquerda e direita sincronizadas

• O mapa de profundidade denso e o mapa de confiança

• Uma nuvem de pontos 3D com cores e normais de superfície

Todas as saídas estão alinhadas espacial e temporalmente; não é necessário registrar um sensor RGB separado com os dados de profundidade, como é exigido pela maioria das câmeras de profundidade ativas.

Como a visão estéreo se compara a outras tecnologias de detecção de profundidade?

Sensores de profundidade ativos baseados em luz estruturada ou Tempo de Voo geralmente são limitados a curtas distâncias e ao uso em ambientes internos, pois a luz solar sobrecarrega seu sinal infravermelho. O LiDAR funciona bem em ambientes externos, mas fornece dados geométricos esparsos, sem cores e a um custo mais alto.

O estéreo passivo combina os pontos fortes dos dois mundos: percepção de profundidade de alguns centímetros (ZED X Nano) até 35 m (ZED X e ZED 2i com lentes estreitas), cores e profundidade em resolução total a partir do mesmo par de sensores e operação confiável tanto em ambientes internos quanto externos. Isso torna as câmeras ZED adequadas para aplicações de robótica, AR/VR, análise de vídeo, segurança, VFX, logística, agricultura e digitalização 3D.

Posso usar a ZED para contagem e rastreamento de pessoas?

Sim. O longo alcance de profundidade da visão estéreo torna as câmeras ZED adequadas para contagem e rastreamento de pessoas em áreas grandes. Além disso, o ZED SDK inclui módulos dedicados de Detecção de Objetos e Rastreamento corporal que combinam detecção por IA com informações de profundidade 3D para localizar e rastrear pessoas no espaço métrico, com IDs exclusivos e dados de esqueleto 3D. Tenha em mente que a segmentação precisa de partes pequenas do corpo, como os dedos, é limitada a longas distâncias porque a resolução da disparidade diminui com a distância.

Práticas recomendadas para detecção de profundidade estéreo

• Alcance de operação: cada modelo tem um alcance ideal definido por sua baseline e distância focal; consulte Para a detecção de profundidade, qual é o alcance das câmeras ZED? Como regra geral, a precisão da profundidade é maior no alcance próximo; posicione a câmera o mais próximo possível da região de interesse, conforme permitido pela aplicação.

• Textura da cena: a correspondência estéreo precisa de recursos visuais. Superfícies homogêneas, sem textura ou especulares (paredes brancas, telas verdes, vidro, espelhos) podem gerar profundidade instável ou ausente. Adicionar textura ou usar os modos de profundidade NEURAL ajuda a reduzir esse problema.

• Iluminação: as câmeras ZED usam imagens coloridas, não IR, para a percepção de profundidade; evite ambientes com pouca luz ou adicione iluminação à cena. Em ambientes externos, a luz solar direta não é um problema.

• Movimento rápido: para capturar movimentos rápidos, use os modos com alta taxa de quadros (HD720 a 60 FPS ou WVGA a 100 FPS nas câmeras USB, SVGA a 120 FPS nas câmeras GMSL2) para reduzir o desfoque de movimento, que prejudica a correspondência estéreo. Os sensores de obturador global da Família ZED X não sofrem distorção de obturador rolling shutter.

• Comprimento do cabo: a ZED 2i é compatível com cabos USB 3.0 de até 10 m sem fonte de alimentação externa; consulte Posso usar a câmera ZED com um cabo de extensão USB 3? Para cabeamento longo e configurações com várias câmeras, a Família ZED X usa uma interface GMSL2 que transmite vídeo por até 15 m com baixa latência.

Qual é a precisão da profundidade?

A profundidade estéreo é estimada por triangulação a partir da imagem de disparidade. A resolução de profundidade segue esta relação:

Dr = Z² * alpha

onde Z é a distância até o alvo e alpha é uma constante que depende da baseline, da distância focal e da precisão de correspondência subpixel.

Na prática, o erro de profundidade cresce quadraticamente com a distância. A precisão especificada para cada modelo de câmera é apresentada no artigo sobre o alcance de profundidade e nas fichas técnicas. A precisão também pode ser afetada por medições discrepantes em superfícies homogêneas e sem textura, que geralmente produzem instabilidade temporal nos valores de profundidade; o mapa de confiança do SDK pode ser usado para filtrar esses pixels não confiáveis.