研究中心在物联网领域顶级期刊IEEE IoT发表深度学习行人重识别论文

发布者:余羽洁发布时间:2022-01-27浏览次数:622

(Weiyu Zeng, Jiuwen Cao*, Tianlei Wang, Jianzhong Wang and Huanqiang Zeng, Clustering-guided Pairwise Metric Triplet Loss for Person Re-identification, IEEE Internet of Things Journal, 2022, published online)


近年来,由于在公共场所(校园,购物中心,机场,医院等)广泛使用大型多摄像机监视系统以及对智能监视和安全系统的需求,行人检测,行人重识别等技术得到了快速的发展。在计算机视觉领域,行人重识别(Person Re-identification)被认为是行人跟踪系统中的下一个高级任务,其旨在预测不同多路监控摄像机监视下的行人的身份对应关系,近年来针对相关问题的研究逐渐成为热点。我院人机混合智能与智慧健康研究中心在深度学习行人重识别方向的研究论文“Clustering-guided Pairwise Metric Triplet Loss for Person Re-identification”IEEE物联网顶级期刊IEEE Internet of Things Journal录用,期刊影响因子9.471。针对现有行人重识别方法存在的不足,本文提出基于聚类引导和成对相似度度量三元组损失的行人重识别方法。该方法提高以难样本采样三元组损失为基础的度量学习的性能,结合成对度量方式使得深度学习模型能够互补性地从不同角度挖掘样本相似度,并通过聚类引导的修正项最大化样本之间的相似度,最终应用到行人重识别的深度学习训练中提高模型的表现。


当前解决行人重识别问题主要采用深度学习的方法,并以提取特征后直接学习特征张量与标签对应关系的表征学习方法,和学习特征张量之间相似度度量关系的度量学习方法这两种方法为主。现有的行人重识别度量学习研究主要在三元组损失函数的基础上提出各种改进,这些度量学习工作存在以下两个问题:1)较早的工作通过发掘深度网络提取的特征之间自身的相关性来对三元组损失函数进行提升,但是这些工作由于时间过久,存在与现有神经网络无法兼容的问题;2)较新的工作通过在三元组损失函数中引入附加的权重因子实现自主调节和自主学习,但是新引入的参数会增加模型的计算复杂度和网络训练设置的调参难度。本文通过在三元组损失中引入欧式度量和余弦度量两种相似度度量方法,提出成对度量三元组损失,并在成对度量三元组损失的基础上引入聚类引导的修正项,提出了基于聚类引导和成对度量三元组损失。本文在特征空间中引入成对的度量方式,互补性地量化特征分别在欧式距离和余弦距离中的相似性,但是成对度量主要提高了同一标签的不同样本之间的精度,无法解决异常值过多的问题。因此,在此基础上采用了聚类指导的修正项,作用于具有相同标签的所有样品以进行挖掘样本的相似性,同时减弱离群值对损失的影响,有效提高了行人重识别的排名序列准确率和平均精度。

论文第一作者为研究生曾威瑜,指导老师曹九稳为通讯作者,研究获得了国家自然科学基金、国家重点研发计划和浙江省国际合作基地项目的支持。


算法核心框架图:

三元组损失和本文方法计算t-SNE可视化对比:

本文方法中成对度量项的权重影响柱状图:

基线方法与本文方法在相同样本下的识别精度对比: