FREEREG ``利用预训练扩散模型和单目深度估计器的图像到点云配准
摘要:
图像与点云之间的跨模态特征匹配是图像到点云配准的基础问题。然而,由于图像和点云之间的模态差异,现有的度量学习方法在特征匹配上难以学习到稳健且具有区分性的跨模态特征。我们提出了一种方法,首先通过预训练的大规模模型统一图像和点云的模态,然后在相同模态内建立稳健的对应关系。我们展示了通过深度到图像的扩散模型提取的中间特征(称为扩散特征),在图像和点云之间具有语义一致性,这使得建立粗略但稳健的跨模态对应关系成为可能。进一步地,我们提取了由单目深度估计器生成的深度图上的几何特征。通过匹配这些几何特征,我们显著提高了由扩散特征生成的粗略对应关系的准确性。大量实验表明,在没有进行任何I2P配准任务训练的情况下,直接利用这两种特征可以实现准确的图像到点云配准。在三个公共室内和室外基准数据集上,所提方法在Inlier Ratio上平均提升了$20.6%$,Inlier Number提高了$3.0 \times$,Registration Recall提升了$48.6%$,优于现有的最先进方法。代码和附加结果可在 https://whu-usi3dv.qithub.io/FreeReq/ 上获取。