自动驾驶之基于视觉信息的行人检测

2018-06-25 11:13

使用CCD／CMOS摄像头的行人检测

1．行人定位

检测步骤的目的是找到行人可能出现的区域，然后在这些区域中完成行人识别和跟踪过程。与车辆检测类似，该领域的三种主要方法是基于先验知识的方法、基于立体视觉的方法和基于运动的方法。

许多方法使用了人体的形状信息。这些方法一般不需要时间维度的信息，可以避免背景变化带来的问题。另一方面，由于行人运动过程中身体形状多变，会给这种方法带来极大的计算量。例如，Curio等研究人员首先根据局部图像熵值来获取主动区域，然后进行形状匹配。该方法使用Λ形状来表示多变的腿部形状信息。此外，它们使用逆透视映射来检测短距离障碍物。最后，他们使用DAF（ Dynamic Activation Field，DAF）策略来进行下一步的处理，如下图所示。

左图是使用熵信息、轮廓信息和三维信息来得到DAF，然后进行初次行人检测的示例。右图是行人行走模型的典型步态，a－l是行人行走过程的12个阶段。

另一种行人潜在区域的检测方式是使用立体图的方法，例如，有研究者使用基于多变量的判别分析方法来提取三维物体的特征，最终得到区分行人和周围物体的三个有效变量。还有的研究者使用两个车载摄像头成对图像中的位置差别来计算得到主体车辆与某特征点的距离。同时，他们使用梯度方向光流法来检测物体的运动情况。结合立体视觉方法和运动信息方法的优势，他们提出了光流和深度约束法，该方法可以在多种情况下快速完成行人的检测任务。

对于提取兴趣区域而言，行人运动信息至关重要。基于运动信息的行人定位方法的一个优势是可以检测被其他行人部分遗挡的行人。然而，该方法需要分析多帧的信息，这大大增加了运行时间和计算量。同时，该方法不能检测静态的行人，所以该方法常常用于行人识别过程。

2．行人识别

确定行人可能出现的区域后，需要进行行人识别过程，从面去掉错误的区域。近刚的研究分为两类：基于运动的方法和基于人体形状的方法。第一类方法考虑了时间维度的信息，试图检测行人运动的周期性特征。第二类方法没有用图像序列中的特点，而是分析人体形状信息。

运动模式，尤其是步态周期模式是区分行人和其他运动物体的一个重要信息。例如，有的研究者使用最大熵算法来研究行人运动所引发的图像强度变化。他们利用运动过程分解得到的时间频率和空间频率信息，进行模型的匹配过程。也有研究者使用时频分析和带 Harming窗的短时傅里叶变换来得到行走周期的变化信息。还有研究者使用自适应时间延迟神经网络算法从输入的图像序列中提取局部时空特征，跟使用全局特征的方法不同，该方法在低计算量、低存储需求的情况下，可以取得更好的识别别效果。

基于人体形状的识别方法不仅可以识别运动行人，也可以识别静态行人。该类方法的主要困难是光照变化、衣服变化、姿态变化和遮挡情况下的行人识别间题。

据悉，研究者Gavrila使用模板来匹配行人，然后调整这些配区域，最后使用径向基函数对这些区域进行分类。有研究者也使用了基于轮廓信息的四配方法。首先，基于拉普拉斯滤波来检测边沿，进面得到二值边沿图。然后，利用距离变换将边沿图转换为DT图。最后，使用DT图跟模板进行匹配，小于特定阈值的被看作是真正的行人区域。为了减少计算量，有的研究者使用主动搜索法完成后续的图像差分搜索计算过程。有的研究者还指出之前的方法所提取的运动信息主要是摄像头的运动而非行人的运动，所以他们主要在静态图上完成行人识别过程，利用的是行人腿部的信息。有的研究者使用 Adaboost训练算法将一组分类准准确率略高于50％的弱分类器整合成一个准确率接近100％的强分类器。有研究者提出单帧分类算法，将获取的图像分成许多子区域。然后在每个子区域上分别进行分类操作，得到局部的判别结果，最后使用特征向量分类器整合这些局部结果。研究者Bertozzi等人在基于人体形状的方法中引入蚁群优化算法，得到行人存在的潜在区域。

许多单步法也使用了人体形状信息。研究者Papagcorgiou等人使用小波模板定义了物体的形状。小波模板包含了大量对应于不同小波子集不同尺度上的规则区域。不同区域间的关系可以用小波系数来表示和加以限制。虽然不同区域的强度会有较大变化，但其关系却变化不大。 Elein等研究人使用基于小波的特征提取算法和模板匹配方式来检测行人。他们对训练图像分块后使用Haar小波变换提取相关特征，得到特征模板，然后将测试图像的特征向量跟模板进行匹配，得到检测结果。

3．行人跟踪

行人跟踪能够有效评估行人的运动过程，同时预测可能的碰撞情况，从而成为现阶段的一个研究热点。跟踪过程中会综合使用位置、速度、形状和图像序列中的其他特征。卡尔曼滤波、 Condensation算法和动态贝叶斯网络也被用到该任务中。

借助行人的线性形状模型，研究者Philomin等人使用 Condensation器来完成目标的跟踪任务，最终使用准蒙特卡洛方法将其转化为高维问题， Gavrila等人使用特定的（α－β）跟踪器来估计物体的状态参数。跟踪器本身是一个卡尔曼滤波器，其速度固定，带有稳态增益。由于检测过程已经成功解决了物体的形变问题，跟踪器只需要完成定位任务。研究者Bertozzi等人使用卡尔曼滤波器来估计行人位置，计算行人运动，进而实现行人跟踪。

使用红外摄像头的行人检测

尽管大量研究人员使用视觉信息进行行人检测，但该类方法在实际应用中仍然存在许多困难。例如室外场景的复杂多变，行人外形因为服饰、姿态和运动面变化多端。由于车辆处于运动状态，背景场景的变化也不可避免。

为解决这些问题，近期的一些研究在智能车辆系统中使用了热电堆和红外传感器。由于行人比周围背景的温度高，有研究人员使用热电堆传感器来探测视野中的物体。基于同样的原理理，有研究者使用红外传感器进行行人检测。可以从这些二推热图像中分析形态学特征和热特征，进面找到行人。

热电堆和红外传感器的优点是检测过程简便易行。检测率高于传传统的基于视觉的方法。下图形象地说明了利用红外图像从周围环境检出行人的过程。此外，基于红外摄像头的方法似乎是唯一可靠的夜间行人检测方法