作者：安森美半导体
(资料图)
为了提高效率和性能，工业自动化越来越受欢迎。在自主移动机器人 (AMR)、仓库机器人、无人机、农业、工厂检查和安防/监控等应用场景，会实施基于机器视觉的人工智能 (AI) 与先进技术来执行关键功能。要想提高现有的对象检测和识别能力，需要解决在不利光照条件下，对运动中的对象和更远距离的精细细节捕获图像的难题。安森美(onsemi) 新推出的 AR0822 传感器具备嵌入式高动态范围 (eHDR) 功能，可解决工程师在开发自主机器视觉系统时面临的复杂设计挑战。
高动态范围在工业自动化中的重要性
许多工业应用的工作场景中，光线刺眼，且明亮区域和黑暗区域同时存在。例如，室外 AMR 必须在同时存在阳光和黑暗区域的场景中精确运行；监控系统警报是否触发，取决于能否辨别未授权人员从黑暗区域移动到明亮区域。虽然工厂工程师会控制照明以便在需要捕捉画面细节的地方达到理想亮度水平，但有些仓库可能无法控制照明，或者可能需要花费高昂的成本进行重建。此外，工业机器人应该能够延伸到多个位置进行操作，而这可能会出现不确定的光照条件。例如，运输包裹的无人机在夜间或高强度阳光下，可能就会遇到这种情况。这几个例子说明这些自主系统必须在高动态范围场景下运行。
多次曝光 = 更高的动态范围
传感器的动态范围是指图像传感器在黑暗和明亮区域中捕获图像细节的能力，测量单位为分贝 (dB)。一般而言，120 dB 的动态范围可捕获除极端场景以外的所有场景中的细节（汽车应用需要更高的动态范围，尤其是在乘客安全方面）。在这类包含黑暗和明亮区域的场景中，如果使用单次长曝光，可能会导致明亮区域过饱和；而单次短曝光可能无法捕获到暗处的细节。
图 1. 图像显示，曝光时间较短可捕获明亮区域的细节，但会丢失黑暗区域的细节
图 2. 图像显示，曝光时间较长可捕获黑暗区域的细节，但会丢失明亮区域的细节
因此，为了捕获所有区域的细节，传感器可采用短、中、长曝光时间，通过多次曝光拍摄多张图像。然后，将这些曝光合并为单张图像，以实现高动态范围，这一过程称为线性化。
图 3：图 1 和图 2 场景现在具有高动态范围
现在，凭借一系列从亮到暗的细节，人工智能识别系统可提高辨认和识别性能。
高分辨率挑战
如果识别距离更远，图像细节更多，则需要更高的分辨率。与对象相距 5 至 10 米远时，1080p 不足以提供对象检测和分类所需的细节。因此，对 4K、甚至更高分辨率传感器的需求不断增加。对于这些尺寸的图像，带宽成为一大设计挑战，因为每张图像的尺寸显著增加。此外，如果要实现 120 dB HDR，传感器需要三次曝光和 3 倍的有效帧率，因为传感器会为每帧拍摄三张不同的图像。例如，对于三次曝光 HDR，如果传感器的有效帧率为每秒 30 帧 (fps)，则传感器阵列、电路和输出需要在 90 fps 帧率有效工作。帧率为 30 fps 的三次曝光 HDR 4K 图像如果在独立于传感器的 ISP 中执行线性化，需要 9000 Mbps，这对处理性能和接口速度是一大挑战。对于摄像头系统，将高分辨率与传感器外 HDR 相结合是一项艰巨的挑战。
图 4. 典型的高动态范围架构通过图像传感器和 ISP 之间的接口发送多张图像，在高分辨率时可能会导致可用带宽紧张或超出可用带宽
为了缓解这两个问题，安森美AR0822 通过将实时线性化集成到传感器中，智能地嵌入高动态范围。如此一来，即便是在更高分辨率时，传统的处理性能和接口速度也更容易满足需求。
图 5. AR0822 嵌入式高动态范围 (eHDR) 图像传感器
运动和 LED 照明伪影
由于三次曝光是在不同的时间点进行，所以 HDR 图像中会出现伪影。每次曝光时，快速移动的对象的位置（角速度）将略有不同。
图 6. 旋转的风扇，显示多次曝光 HDR 造成的运动伪影
此外，带有 LED 照明的场景可能会出现其他伪影。为节省用电，LED 以摄像头而非人眼能够看到的频率打开和关闭。LED 可能会在第一次曝光时打开，在第二次和第三次曝光时关闭，从而导致多次曝光和多张图像中的光照水平不同。
图 7. LED 灯箱，其中两列亮起，LED 闪烁伪影造成强度差异
AR0822 eHDR 包含“智能线性化”，以解决这些由多次曝光帧组合而引起的伪影。通过感测一个帧内由不同曝光捕获的信号电平差异，从而试图减少通常因运动或 LED 闪烁造成的伪影，就有可能实现上述目的。
图 8和图9. 得益于 AR0822 的智能线性化，风扇没有运动伪影且 LED 灯箱的两列完全亮起
通过在充满挑战的光照条件下提供高质量性能，再结合人工智能系统在安防/监控、AMR 和工业移动机器人应用中所需的目标分辨率，eHDR 可增强对象检测与识别。
下载我们的白皮书，详细了解 AR0822，以及在嵌入式自主机器视觉应用中实施更高动态范围的图像传感器时，使用 eHDR 如何能够增加动态范围并克服其他挑战。