Como funciona a percepção 3D da ZED?

A ZED é uma câmera de visão estéreo passiva que reproduz a maneira como a visão binocular humana funciona. Ela incorpora dois sensores de imagem sincronizados, separados por uma distância fixa e calibrada na fábrica, chamada de linha de base. Ao corresponder os mesmos recursos visuais nas imagens esquerda e direita e medir seu deslocamento horizontal (a disparidade), a ZED calcula a distância de cada pixel por meio de triangulação, construindo um modelo tridimensional denso da cena observada em tempo real.

Como a ZED depende da luz ambiente e da textura natural da cena, em vez de projetar padrões infravermelhos ou pulsos de laser, ela é um sensor totalmente passivo; várias câmeras podem operar lado a lado sem interferir umas nas outras, em ambientes internos e externos, mesmo sob luz solar direta.

Como o mapa de profundidade é gerado?

A câmera transmite um fluxo de vídeo colorido de alta resolução, sincronizado por hardware, lado a lado (visões esquerda e direita). O ZED SDK, executado na máquina host, retifica as duas imagens usando a calibração de fábrica, realiza a correspondência estéreo na GPU para calcular um mapa de disparidade e o converte em um mapa de profundidade métrico. As versões modernas do SDK também oferecem correspondência estéreo baseada em IA (modos de profundidade NEURAL), que melhoram significativamente a robustez em superfícies com pouca textura e refletivas.

Os desenvolvedores têm acesso simultâneo a:

• As imagens coloridas sincronizadas esquerda e direita
• O mapa de profundidade denso e o mapa de confiança
• Uma nuvem de pontos 3D com cores e normais de superfície

Todas as saídas são alinhadas espacial e temporalmente; não é necessário registrar um sensor RGB separado com os dados de profundidade, como é exigido pela maioria das câmeras de profundidade ativas.

Como a visão estéreo se compara a outras tecnologias de detecção de profundidade?

Sensores de profundidade ativos baseados em luz estruturada ou Tempo de Voo geralmente são limitados a curtas distâncias e ao uso em ambientes internos, pois a luz solar sobrecarrega seu sinal infravermelho. O LiDAR funciona bem em ambientes externos, mas fornece dados geométricos esparsos, sem cores e a um custo mais alto.

O estéreo passivo combina os pontos fortes dos dois mundos: percepção de profundidade a longa distância (até 20 m ou mais, dependendo do modelo e da linha de base), cores e profundidade em resolução total provenientes do mesmo par de sensores e operação confiável tanto em ambientes internos quanto externos. Isso torna as câmeras ZED adequadas para robótica, AR/VR, análise de vídeo, segurança, VFX, logística, agricultura e aplicações de digitalização 3D.

Posso usar a ZED para contagem e rastreamento de pessoas?

Sim. O longo alcance de profundidade da visão estéreo torna a ZED uma boa opção para contagem e rastreamento de pessoas em áreas extensas. Além disso, o ZED SDK inclui módulos dedicados de Detecção de Objetos e Rastreamento corporal que combinam detecção por IA com informações de profundidade 3D para localizar e rastrear pessoas no espaço métrico, com IDs exclusivos e dados de esqueletos 3D. Tenha em mente que a segmentação detalhada de pequenas partes do corpo, como dedos, é limitada a longas distâncias porque a resolução da disparidade diminui com a distância.

Práticas recomendadas para detecção de profundidade estéreo

• Faixa de operação: cada modelo tem uma faixa ideal definida por sua linha de base e distância focal. Como regra geral, a precisão de profundidade é maior na faixa próxima; posicione a câmera o mais perto possível da região de interesse, conforme permitido pela aplicação.
• Textura da cena: a correspondência estéreo precisa de características visuais. Superfícies homogêneas, sem textura ou especulares (paredes brancas, telas verdes, vidro, espelhos) podem gerar profundidade instável ou ausente. Adicionar textura ou usar o modo de profundidade NEURAL atenua esse problema.
• Iluminação: a ZED usa imagens coloridas, não IR, para a percepção de profundidade; evite ambientes com pouca iluminação ou adicione iluminação à cena. Em ambientes externos, a luz solar direta não é um problema.
• Movimento rápido: para capturar movimentos rápidos, use os modos de alta taxa de quadros (por exemplo, HD720 @ 60 FPS ou VGA/SVGA @ 100 FPS em modelos USB) para reduzir o desfoque de movimento, que degrada a correspondência estéreo.
• Extensão do cabo: a conexão USB 3.0 pode ser estendida por até 15 m com cabos de extensão USB 3.0 ativos e por até 100 m usando extensores USB 3.0 de fibra óptica. Para cabeamento longo de nível industrial e configurações com várias câmeras, a família ZED X usa uma interface GMSL2 projetada para sistemas embarcados.

Qual é a precisão de profundidade?

A profundidade estéreo é estimada por triangulação a partir da imagem de disparidade. A resolução de profundidade segue esta relação:

Dr = Z² * alpha

onde Z é a distância até o alvo e alpha é uma constante que depende da linha de base, da distância focal e da precisão de correspondência subpixel.

Na prática, o erro de profundidade cresce quadraticamente com a distância: normalmente, ele fica em torno de 1% da distância na faixa próxima e pode chegar a vários por cento na extremidade distante da faixa. A precisão também pode ser afetada por medições discrepantes em superfícies homogêneas e sem textura, que geralmente produzem instabilidade temporal nos valores de profundidade; o mapa de confiança do SDK pode ser usado para filtrar esses pixels não confiáveis.