Python OpenCV视频追踪 Python OpenCV实现视频追踪
sxqczzxsh 人气:01. MeanShift
假设有一堆点集和一个圆形的小窗口。现在需要将此窗口移动到具有最高点集密度的区域，如下图：
第一个窗口C1是蓝色圆圈的区域。蓝色环的中心用蓝色矩形标记并命名为 C1_o。窗口中所有点的点集形成的质心在蓝色圆形点C1_r。显然，质心和环的质心不重合。移动蓝色窗口，使质心与先前获得的质心重合。在新移动的圆环的区域内再次找到圆环包围的点集的质心，然后再次移动。通常，形心和质心不重合。继续执行上述移动过程，直到形心与质心大致重合。这样，最终的圆形窗口就会落到像素分布最大的地方，也就是图中的绿色圆圈C2。
除了用于视频跟踪之外，MeanShift算法在涉及数据和无监督学习的各种场景中都有重要的应用，例如聚类、平滑等。它是一种广泛使用的算法。
图像是信息矩阵。如何使用MeanShift算法跟踪视频中的移动物体？一般流程如下：
1）在图像上选择一个目标区域，
2）计算选中区域的直方图分布，一般是HSV颜色空间的直方图。
3）计算下一帧图像 b 的直方图分布。
4）计算图像b中与所选区域的直方图分布最相似的区域，并使用MeanShift算法将所选区域沿最相似的部分移动，直到找到最相似的区域。
5）重复3到4的过程，完成整个视频目标跟踪。
一般情况下，我们使用直方图反投影得到的图像和目标物体在第一帧的起始位置。当目标物体的运动会在直方图反投影图像中反映出来时，MeanShift算法会将窗口移动到反投影图像中灰度密度最高的区域。
假设我们有一个 100x100 的输入图像和一个 10x10 的模板图像，直方图反投影的过程是这样的：
1）从输入图像的左上角(0,0)开始，从(0,0)到(10,10)剪切一张临时图像。
2）生成临时图像的直方图。
3）将临时图像的直方图与模板图像的直方图进行比较，比较结果标记为c。
4）直方图比较结果c为结果图像中(0,0)处的像素值。
5）将输入图像的临时图像从(0,1)剪切到(10,11)，对比直方图，记录结果图像。
6）重复步骤1到5，直到输入图像的右下角，形成直方图的反投影。
cv.meanShift(probImage, window, criteria)
参数：
probImage ROI区域，即目标的直方图的反向投影。
window 初始搜索窗口，就是定义ROI的rect。
criteria 确定窗口搜索停止的准则，主要有迭代次数达到设置的最大值，窗口中心的漂移值大于某个设定的限值等。
2. CamShift
MeanShift的结果有一个问题，检测窗口的大小是固定的，而狗是一个由近到远逐渐变小的过程，固定的窗口是不合适的。 所以需要根据目标的大小和角度来修正窗口的大小和角度。
CamShift（Continuously Adaptive Mean-Shift algorithm）是MeanShift算法的改进算法，可以解决这个问题。它可以随着跟踪目标大小的变化实时调整搜索窗口的大小，具有更好的跟踪效果。 Camshift 算法首先应用MeanShift。 一旦MeanShift收敛，它就会更新窗口的大小，同时计算出最佳拟合椭圆的方向，从而根据目标的位置和大小来更新搜索窗口。
例：使用MeanShift和CamShift方法获取视频中的狗，并标注。
import cv2 as cv
import numpy as np
# 获取视频
cap = cv.VideoCapture('image/DOG.wmv')
# 指定追踪目标
ret, frame = cap.read()
r, h, c, w = 197, 141, 0, 208
win = (c, r, w, h)
roi = frame[r:r + h, c:c + w]
# 计算直方图
hsv_roi = cv.cvtColor(roi, cv.COLOR_BGR2HSV)
roi_hist = cv.calcHist([hsv_roi], [0], None, [180], [0, 180])
cv.normalize(roi_hist, roi_hist, 0, 255, cv.NORM_MINMAX)
# 目标追踪
term = (cv.TERM_CRITERIA_EPS | cv.TERM_CRITERIA_COUNT, 10, 1)
# meanshift
while True:
ret, frame = cap.read()
if ret:
hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1)
ret, win = cv.meanShift(dst, win, term)
x, y, w, h = win
img2 = cv.rectangle(frame, (x, y), (x + w, y + h), 255, 2)
cv.imshow("frame", img2)
if cv.waitKey(60) & 0xFF == ord('q'):
break
# camshift
while True:
ret, frame = cap.read()
if ret:
hst = cv.cvtColor(frame, cv.COLOR_BGR2HSV)
dst = cv.calcBackProject([hst], [0], roi_hist, [0, 180], 1)
ret, track_window = cv.CamShift(dst, win, term)
# 绘制追踪结果
pts = cv.boxPoints(ret)
pts = np.int0(pts)
img2 = cv.polylines(frame, [pts], True, 255, 2)
cv.imshow("frame", img2)
if cv.waitKey(60) & 0xFF == ord('q'):
break
# 释放资源
cap.release()
cv.destroyAllWindows()
加载全部内容