ZED 3D 感知如何工作?
Last updated: August 13, 2026
ZED 是一种被动式双目视觉相机,能够复现人类双目视觉的工作方式。它内置两个同步图像传感器,两者之间保持固定且经过出厂校准的距离,这一距离称为基线。通过匹配左右图像中的相同视觉特征并测量其水平偏移(即视差),ZED 通过三角测量计算每个像素的距离,从而实时构建所观察场景的稠密三维模型。

由于 ZED 依赖环境光和自然场景纹理,而不是投射红外图案或激光脉冲,因此它是一种完全被动式传感器;多台相机可以并排运行而不会相互干扰,既适用于室内,也适用于室外,甚至可以在直射阳光下使用。
深度图是如何生成的?
相机输出高分辨率、硬件同步的并排彩色视频流(左视图和右视图)。运行在主机上的 ZED SDK 使用出厂标定参数对两幅图像进行校正,在 GPU 上执行立体匹配以计算视差图,并将其转换为具有实际尺度的深度图。现代 SDK 版本还提供基于 AI 的立体匹配(神经深度模式),能够显著提升在低纹理和反光表面上的稳健性。
开发者可以同时访问:
- 同步的左、右彩色图像
- 稠密深度图和置信度图
- 带有颜色和表面法线的 3D 点云
所有输出在空间和时间上均已对齐;无需将独立的 RGB 传感器注册到深度数据,这正是大多数主动式深度相机所要求的操作。
立体视觉与其他深度感应技术相比如何?
基于结构光或飞行时间的主动深度传感器通常仅限于短距离和室内使用,因为阳光会压过其红外信号。LiDAR 在户外表现良好,但只能提供稀疏的几何数据,没有颜色信息,且成本更高。
被动立体视觉结合了两者的优势:远距离深度感知(最远可达 20 米及更远,具体取决于型号和基线)、通过同一传感器对获取全分辨率的颜色和深度信息,并且在室内和室外都能可靠运行。这使得 ZED 摄像头适用于机器人、AR/VR、视频分析、安全、视觉特效、物流、农业和 3D 扫描等应用。
我可以使用 ZED 进行人数统计和追踪吗?
是的。立体视觉的长距离深度范围使 ZED 非常适合在大型区域进行人数统计和追踪。此外,ZED SDK 包含专用的目标检测和身体追踪模块,将 AI 检测与 3D 深度信息相结合,在米制空间中定位和追踪人员,并提供唯一 ID 和 3D 骨骼数据。请注意,由于视差分辨率会随着距离增加而降低,在远距离处对手指等较小身体部位进行精细分割会受到限制。
立体深度感应的最佳实践
- 工作范围:每个型号都有由其基线和焦距定义的最佳范围。根据经验,近距离范围内的深度精度最高;应在应用允许的情况下,将相机尽可能靠近感兴趣区域。
- 场景纹理:立体匹配需要视觉特征。均匀、无纹理或具有镜面反射的表面(白墙、绿幕、玻璃、镜子)可能会导致深度不稳定或缺失。添加纹理或使用神经深度模式可以缓解这一问题。
- 光照:ZED 使用彩色图像而不是红外线进行深度感知;应避免光线极弱的环境,或增加场景照明。在室外,直射阳光不会造成问题。
- 快速运动:要捕捉快速运动,请使用高帧率模式(例如,USB 型号上的 HD720 @ 60 FPS 或 VGA/SVGA @ 100 FPS),以减少会降低立体匹配效果的运动模糊。
- 线缆延长:USB 3.0 连接可通过有源 USB 3.0 延长线延长至 15 米,使用光纤 USB 3.0 延长器则可延长至 100 米。对于工业级长距离布线和多相机设置,ZED X 家族采用专为嵌入式系统设计的 GMSL2 接口。
深度精度是多少?
立体深度通过视差图像的三角测量进行估算。深度分辨率遵循以下关系:
Dr = Z² * alpha
其中,Z 是到目标的距离,alpha 是一个常数,取决于基线、焦距和匹配亚像素精度。
实际上,深度误差会随着距离的增加呈二次增长:在近距离范围内,误差通常约为距离的 1%,而在范围的远端可能达到几个百分点。均匀且无纹理的表面上的异常值测量也会影响精度,这些测量通常会导致深度值出现时间不稳定;可以使用 SDK 置信度图来过滤这些不可靠的像素。