终身行人重识别旨在持续学习新增数据中不断涌现的新增行人鉴别性信息，同时保持对已知数据的识别能力，在公共安防、社区管理、运动分析等场景中具有重要的研究和应用价值。
随着白天可见光图像和夜晚红外图像被不断采集，现有终身行人重识别方法需要持续学习特定模态中的新知识（例如：仅适用于红外模态中的热辐射信息）。
然而，特定模态中新知识的学习过程阻碍了模态间公共旧知识（例如：同时适用于可见光与红外模态的人体体态信息）的保留，导致了单模态专用知识的获取与跨模态公共知识的保留间的冲突，进而限制了持续学习场景下平衡不同模态中行人鉴别性知识的能力。
针对这一问题，北京大学彭宇新教授团队提出了跨模态知识解耦与对齐的可见光 - 红外终身行人重识别方法 CKDA，通过跨模态通用提示模块与单模态专用提示模块显式地解耦并净化不同模态通用与特定模态专用的鉴别性信息，从而避免二者间的相互干扰，并在一对彼此独立的模态内与模态间特征空间中分别对齐解耦后的新旧知识，实现跨模态知识的高效权衡。
本文提出的 CKDA 方法在四个常用可见光 - 红外行人重识别数据集组成的终身行人重识别基准上均取得了当前最优的性能。
背景与动机
终身行人重识别旨在通过持续学习学习采集自不同场景的行人数据，实现不同场景中同一行人的识别。随着实际场景中白天与黑夜的数据被持续采集，终身行人重识别算法通常需要匹配出现在白天可见光图像和夜晚红外图像中的同一行人，即可见光 - 红外终身行人重识别。
为了缓解可见光与红外模态知识的遗忘，现有方法大多借助数据重放、模型参数隔离、以及知识蒸馏策略实现跨模态知识的保留。
图 1 现有终身行人重识别方法和本方法的对比示意图
然而，现有方法忽略了单模态专用知识获取与跨模态通用知识保留间的冲突，进而导致了跨模态知识难以平衡。
具体而言，如图 1 所示，在持续学习新增可见光与红外数据时，现有方法由于不断地累积特定模态中的新知识（例如：仅适用于红外模态中的热辐射信息），不可避免地阻碍了模态间公共的旧知识（例如：同时适用于可见光与红外模态的人体体态信息）的保留，导致了单模态专用知识的获取与跨模态间公共知识的保留间的冲突，限制了持续学习场景下平衡跨模态鉴别性知识的能力。
技术方案
针对上述挑战，本文提出一种跨模态知识解耦与对齐方法 CKDA，其核心思想在于避免可见光与红外模态中知识的互相干扰，实现跨模态知识的高效平衡。
如图 2 所示，CKDA 主要包含三个模块：
跨模态通用提示：通过去除仅存在于可见光或红外图像的风格信息，提取在两种模态中共存的鉴别性知识，为跨模态知识对齐奠定基础；
单模态专用提示：通过放大可见光 - 红外模态间的差异，促进特定模态知识的保留与净化，从而显式地避免可见光与红外模态中行人鉴别性知识的相互干扰；
跨模态知识对齐：利用旧知识原型构建了一组相互独立的模态内与模态间特征空间并分别对齐解耦后的新旧知识，提升了终身行人重识别模型对可见光 - 红外行人鉴别性知识的平衡能力。
图 2 跨模态知识解耦与对齐方法（CKDA）框架图
模块 1：跨模态通用提示
模块 3：跨模态知识对齐
实验结果
表 1 本方法与现有方法在可见光 - 红外终身行人重识别任务中的性能对比
表 1 的实验结果表明，CKDA 方法在由 4 个常用可见光 - 红外行人重识别数据集组成的终身行人重识别基准上均达到了当前最优的性能，分别达到了 36.3% 和 39.4% 的平均 mAP 和 R1 准确性。
图 3 的可视化结果表明，跨模态通用提示更倾向于关注在两种模态中共存的行人整体轮廓和体态信息。相比之下，单模态专用提示则关注仅存在于特定模态中的知识，例如可见光图像中行人服装颜色或红外图像中的热敏信息。
因此，组合后的可见光图像与红外图像提示能够以互补方式提升模型对可见光与红外模态信息感知与保留能力。
图 3 不同模态图像生成提示的可视化结果
更多详情，请参见原论文。
作者信息
崔振宇，男，北京大学王选计算机研究所 2021 级博士研究生，导师为彭宇新教授，研究方向为多媒体智能计算与机器学习。获得研究生国家奖学金，北京大学博士研究生校长奖学金，ACM-ICPC 亚洲区域赛银牌等奖励。在 CVPR，AAAI，TIFS，TCSVT 等 IEEE Trans./CCF A 类期刊与会议上发表十余篇论文，其中第一作者 7 篇。常年担任国际会议 CVPR、ICCV、NeurIPS、ICLR、ECCV 等多个重要国际会议，以及 IEEE TIP、TIFS、TCSVT、TMM 等多个重要国际期刊的审稿人。
炒股平台提示：文章来自网络，不代表本站观点。
