目标跟踪算法

本文最后更新于:2026年8月29日 晚上

目标跟踪算法作为计算机视觉领域的重要研究方向,广泛应用于视频监控、自动驾驶、无人机导航、机器人感知、AR/VR 交互以及工业检测等需要在连续视频中持续定位目标的位置与运动状态的场景。随着应用需求不断提升,目标跟踪技术已从传统的 KCF、CSRT 等相关滤波方法逐渐演进到以 Siamese 网络为代表的深度学习模型,并进一步迈向以 Transformer 为核心的最新 SOTA 跟踪框架,使得算法在遮挡处理、外观变化适应性、长时跟踪稳定性等方面取得显著突破。当前工业界普遍采用轻量化、高速、易部署的深度模型与优化推理引擎,而学术界则持续推动精度极限与多模态融合的发展趋势,使目标跟踪在现实世界中的智能感知系统中发挥着越来越关键的作用。

OpenCV 已集成的目标跟踪算法(cv::Tracker 系列)

算法 简要说明 参考资料
BOOSTING 基于 AdaBoost 的早期跟踪器 https://docs.opencv.org/master/d7/d86/classcv_1_1TrackerBoosting.html
MIL (Multiple Instance Learning) 多实例学习,抗遮挡能力优于 Boosting https://docs.opencv.org/master/d0/d26/classcv_1_1TrackerMIL.html
KCF (Kernelized Correlation Filter) 超高速核相关滤波器 原论文:https://www.robots.ox.ac.uk/~joao/publications/henriques_tpami15.pdf
OpenCV:https://docs.opencv.org/master/d2/dff/classcv_1_1TrackerKCF.html
TLD (Tracking-Learning-Detection) 包含跟踪、学习、检测模块,可自恢复 原论文:https://link.springer.com/chapter/10.1007/978-3-642-15567-3_10
OpenCV:https://docs.opencv.org/master/d2/d0a/classcv_1_1TrackerTLD.html
MEDIANFLOW 使用前向 - 反向一致性,适合小位移 原论文:https://ieeexplore.ieee.org/document/5540108
OpenCV:https://docs.opencv.org/master/d7/d4c/classcv_1_1TrackerMedianFlow.html
GOTURN(深度学习) 使用 CNN 回归预测 原论文:https://arxiv.org/abs/1604.01802
OpenCV:https://docs.opencv.org/master/d1/d0a/classcv_1_1TrackerGOTURN.html
MOSSE (Minimum Output Sum of Squared Error) 极快的滤波跟踪器 原论文:https://www.cs.colostate.edu/~vision/publications/bolme_cvpr10.pdf
OpenCV:https://docs.opencv.org/master/d2/d12/classcv_1_1TrackerMOSSE.html
CSRT (Channel and Spatial Reliability Tracking) 高精度改进版 KCF,常用于实际项目 原论文:https://arxiv.org/abs/1708.02873
OpenCV:https://docs.opencv.org/master/d2/d3c/classcv_1_1TrackerCSRT.html

现代深度学习 SOTA 跟踪算法(未内置在 OpenCV)

这些算法性能显著优于经典方法,可通过 PyTorch / TensorFlow 使用。

算法 类型 参考资料
SiamFC Siamese 网络,端到端快速跟踪 原论文:https://www.robots.ox.ac.uk/~luca/siamfc.html
Github:https://github.com/huanglianghua/siamfc-pytorch
SiamRPN / SiamRPN++ Siamese + RPN,大幅提升精度 SiamRPN++ 论文:https://arxiv.org/abs/1812.11703
Github:https://github.com/HonglinChu/SiamTrackers
SiamMask 同时进行目标分割和跟踪 论文:https://arxiv.org/abs/1812.05050
Github:https://github.com/HonglinChu/SiamTrackers
TransT Transformer 特征融合,高精度 论文:https://arxiv.org/abs/2103.15436
Github:https://github.com/chenxin-dlut/TransT
STARK Transformer 预测器,2021 SOTA 论文:https://arxiv.org/abs/2103.17154
Github:https://github.com/researchmm/Stark
SwinTrack 基于 Swin Transformer 论文:https://arxiv.org/abs/2112.01677
Github:https://github.com/LitingLin/SwinTrack
ByteTrack / BOT-SORT(多目标跟踪) 多目标跟踪(MOT)最佳方案之一 ByteTrack:https://arxiv.org/abs/2110.06864
Github:https://github.com/FoundationVision/ByteTrack
BOT-SORT:https://arxiv.org/abs/2206.14651
Github:https://github.com/NirAharon/BoT-SORT