在图像数据处理中,会遇到多目标检测的情况。研究多目标检测,是不可回避的。特别是多目标运动检测,如何准确的确定不同运动目标的运动轨迹是个难题。
多目标飞行试验的待测目标数量有时多达几十甚至上百个,且散布区域巨大,需要多台高速相机的视场拼接来覆盖视场,因而会存在多高速相机图像间的多目标匹配问题。特别是对于多管、多目标武器试验等应用,目标高速下落且具有破坏性,人员设备无法靠近测量,且不容易清晰成像,导致对多目标下落运动参数的测量存在较大困难。
针对散布区域广、飞行速度快的多目标运动参数测量需求,我们基于高速摄像技术,采用多台高速相机视场交会覆盖多目标下落区域,集成了弱小目标提取、多高速相机多目标时空域联合匹配、震动扰动消除、高速相机参数现场标定等新方法、新技术,得到了多目标下落的三维轨迹、姿态、速度、攻角、落点等重要参数。
高速相机布设和标定
采用在两个站点各布设多台高速相机的方式,两个站点的高速相机组直接形成多个交汇视场,覆盖靶标区域。
多目标运动参数测量高速相机的布设
由于多目标落点散布范围比较大,并且可能具有破坏性,高速相机站点需要离开目标散布区域较远距离,并且使两个站点高速相机的交汇视场覆盖待测目标散布区域。两个站点与目标区域连线的夹角要适于交会计算,通常应在60°到12°之间;为了提高成像质量,设置站位时要考虑阳光照射影响,一般应为侧光。
试验前,在目标散布区域设置若干标杆,标杆上设置合作标志。用全站仪、GPS等测出各标杆以及各高速相机的位置,再采用标校的方法标定各高速相机的参数。
目标提取和多高速相机多目标匹配
1) 目标图像特征提取和高速相机受到的震动影响的消除
试验高速序列图像处理中,采用了序列图像相关提取目标位置、高斯拟合提取目标轴线、增强放大后人工干预提取单头位置和轴线等目标图像特征提取方式。序列图像相关和高斯拟合的提取方式适用于成像质量较好的目标,而对于成像效果较差(烟雾、遮挡,拍摄质量不佳等)的目标则可采用手动干预提取方式。
实验中,大量目标高速落地时引起大地的震动,并波及到测量高速相机。在图像上可以观察到这一震动引起的图像整体波动。为消除这一震动带来的图像平移和旋转影响,在进行分析处理时,可采用通过图像内基准点配准补偿背景运动的方法,在每台高速相机的初始图像上选取图像区域的两个以上固定特征点,如标杆、背景特征点等,再利用相关等运算逐帧提取结果进行修正,消除震动影响。
2) 多高速相机多目标的时空域联合匹配
由于采用多台高速相机交会测量多个目标,并且目标的形状、灰度和运动特征都类似,因而如何高效、可靠地进行多高速相机、多目标的匹配是本项目中的一项关键内容。
对于同一台高速相机时间序列图像中的多个目标,可以采用多目标跟踪的方法进行多目标时域匹配。对于同一时刻不同高速相机图像中的多目标匹配可以采用基于极线约束的方法在空域进行匹配。另外,由于高速相机参数已经标定,可以用一台高速相机图像的目标提取结果,与另一台高速相机同时刻图像中的目标提取结果依次进行线-线交会,取交会残差最小的目标作为匹配结果。
针对多高速相机多目标匹配问题,我们进一步结合时域匹配与空域匹配,通过时空域联合匹配提高匹配结果的可靠性。
首先通过时域匹配,将单高速相机序列图像间的同名目标连成了一条轨迹,之后对两台高速相机时域匹配轨迹上的目标点逐时刻进行空域匹配,检验是否能得到整条轨迹一致的匹配结果。首先用一台摄高速相机图像上某条目标轨迹起始时刻的目标,与另一台高速相机起始时刻所有目标通过极线约束、交会残差最小等约束条件进行匹配,确定对应的目标点。再按时刻次序对以上这两个匹配点为起始点的轨迹上各对目标点依次进行空域匹配。如果整条空域匹配结果一致,就说明时域匹配结果可信,得到了正确的时空域匹配结果。
对于经过了一次时域匹配和一次空域匹配后仍没有确定为正确匹配结果的轨迹,则在去除已正确匹配的目标点后,对剩余的目标点重新进行时域匹配和空域匹配,通过这样的时空与匹配交互验证,能够极大地提高匹配结果的可靠性。
目标运动参数计算
采用双目交汇的方式解算目标的运动参数,即双目线-线交会解算各个时刻各目标的空间位置,双目面-面交会解算各个时刻各目标轴线的姿态。并进一步通过数据滤波计算各目标的轨迹、速度和角速度。而目标轴线与速度方向的夹角就是目标的攻角。
试验中,并不能全程地得到目标图像,尤其是由于地面景物和烟尘的遮挡,在图像中常可能纪录不到目标落地的情景。对此,采用预测滤波的方法对数据进行处理,计算得到目标落地的运动参数,包括落地时刻、落地点位置、落地速度、落地攻角等。