深圳大学 姜三副教授在摄影测量与遥感领域顶级期刊ISPRS P&RS发表了研究成果:UAVPairs:面向大规模无人机图像匹配对检索的评测基准

原文标题：UAVPairs: A benchmark for match pair retrieval of large-scale UAV images

作者：刘俊欢，姜三，葛薇，黄伟，郭丙轩，李清泉

来源：ISPRS Journal of Photogrammetry and Remote Sensing（影响因子12.2，中科院1区TOP期刊）

论文链接：https://www.sciencedirect.com/science/article/pii/S0924271625003600

DOI:10.1016/j.isprsjprs.2025.09.008

在大规模无人机影像三维重建中，特征匹配是运动恢复结构的主要计算瓶颈。为降低特征匹配复杂度，通常需要通过影像检索筛选具有空间重叠关系的候选影像对，从而减少无效匹配。然而，现有影像检索模型主要基于地标或实例检索数据集训练，这些影像在分辨率、拍摄视角和背景内容上与无人机影像存在显著差异；此外，现有的基于样本对的损失函数在大规模场景下面临收敛缓慢和难样本挖掘成本高昂的问题，而基于代理或分类的损失函数则忽视了细粒度的类内信息。因此，构建高质量无人机影像检索数据集并优化训练策略，成为当前领域亟需解决的问题。

深圳大学姜三副教授在摄影测量与遥感领域顶级期刊ISPRS P&RS发表了研究成果，论文第一作者为硕士研究生刘俊欢。该研究构建了面向大规模无人机影像匹配对检索的基准数据集UAVPairs，并提出了一个配套的训练管线。

本研究构建了面向大规模无人机影像匹配像对检索的基准数据集UAVPairs及配套的训练管线（图1）。首先，利用增量式运动恢复结构技术，对采集的大规模、多场景无人机影像数据集UAVPairs进行全自动标注，通过提取共视三维点量化影像间的几何相似度；在此基础上，融合了批量非平凡样本挖掘策略与排序列表损失，在提升模型训练效率的同时增强了深度全局特征的判别能力。

UAVPairs数据集包含从30个不同场景中采集的21,622张高分辨率无人机影像（图2）。场景覆盖了纹理丰富的城市街区、密集建筑群，以及纹理较弱或重复的乡村农田、河流走道和山区山脉等（图3）。数据通过五镜头倾斜摄影系统在多尺度、多视角下采集，充分保障了数据的多样性与影像检索任务的挑战性。

为精准挖掘影像间的真实匹配关系，研究进一步引入了基于增量式运动恢复结构的自动标注技术。该方法通过三维重建生成场景模型（图4），并以影像间共视三维点的数量来量化几何相似度。这一流程有效剔除了错误匹配对，保证了训练样本具备真实匹配关联，从而将大规模原始影像转化为高质量的监督数据。

针对难样本挖掘计算成本高昂的问题，本研究提出一种批量非平凡样本挖掘策略。该策略利用UAVPairs数据集的多场景结构构建训练批次，基于几何相似度为查询样本匹配正样本，并将同批次内其他查询的正样本视为负样本。通过在优化阶段动态剔除零损失的平凡样本，该方法有效避免了特征描述符的反复提取，在大幅降低算力开销的同时加速模型收敛。

针对传统三元组损失仅关注局部排序的局限，本研究引入了排序列表损失。该方法直接对由正负样本集构成的全局相似性结构进行整体约束，而非独立优化单一的正负样本对。通过全局结构优化，模型不仅确保了正确的三元组间排序，还能精准捕获正样本间的细粒度几何匹配差异，增强了全局特征的判别能力。

实验结果验证了UAVPairs数据集与提出的深度学习训练管线在大规模无人机影像匹配对检索与SfM三维重建任务中的显著优势，为挑战性场景下的无人机影像高效处理与三维场景重建提供了有效的解决方案与技术支撑。

为验证UAVPairs数据集的有效性，研究对比了分别在Pittsburgh、Flickr、GL3D以及 UAVPairs数据集上训练的NetVLAD、GeM和MIRorR影像检索模型。结果表明，在 UAVPairs数据集上训练的这三种模型取得了最高的检索精度，在三个测试数据集上分别平均提升了1.9%、4.89%和9.35%。此外，相较于其他数据集训练的模型产生大量错误检索影像，基于 UAVPairs 训练的模型检索结果中极少出现错误影像（图 8），这证明该数据集比现有数据集更适合大规模无人机影像的匹配对检索。

本研究将NetVLAD-O与传统手工特征方法在影像检索与SfM重建的性能上进行了系统对比。实验证明，其鲁棒性和检索准确率优于依赖局部梯度信息的手工特征方法，尤其是在弱纹理和重复纹理等挑战性场景下（图9）。其优势主要在于特征提取阶段能有效感知更广泛的上下文信息，而训练阶段的监督约束蕴涵了两视图几何关系，增强了对空间重叠对的识别能力。此外，得益于高效的向量表达，NetVLAD-O的检索效率较BoW 实现了9至26倍的加速比（图10）。

针对大规模无人机影像匹配对检索面临的专用训练数据集缺失、样本挖掘成本高昂与损失函数局限性等痛点，本研究在数据集构建与训练管线优化方面展开了系统工作。首先构建了大规模、高辨率、多场景的无人机影像检索基准数据集UAVPairs，并利用SfM技术实现了基于几何相似度的自动标注，确保了训练数据贴合无人机影像真实的匹配特性。其次，本研究通过引入批量非平凡样本挖掘策略与直接优化全局相似性结构的排序列表损失，构建了一套高效的深度学习训练管线。实验证明，基于UAVPairs数据集与优化的训练管线，不仅大幅降低了样本挖掘的训练时间开销，更在多个基准模型上实现了检索精度的全面提升。此外，相较于传统手工特征方法，优化后的模型在弱纹理、重复纹理等挑战性场景下展现出更卓越的特征判别力。本研究的方法有效增强了场景图结构的连通性与三维重建的完整性，为大规模无人机影像的高效处理与高质量三维重建提供了可靠支撑。