大家读完觉得有帮助记得关注和点赞摘要水下环境中的3D几何估计面临着独特挑战原因在于光衰减、散射以及缺乏大规模、高质量的3D标注。先驱性方法依赖于大量密集标注这在水下环境中是不切实际的。在本文中我们提出了Wat3R一个跨域半监督学习框架旨在将前馈3D重建模型从空气域适应到水下场景。我们的方法独特地消除了对任何标注水下数据的需求采用教师-学生架构仅在海量无标注的真实水下视频素材上学习鲁棒的几何表示。我们还设计了一种跨视角一致性损失利用来自其他视角的几何线索来补偿当前视角因水衰减和散射造成的信息退化。此外考虑到缺乏全面的评估基准我们构建了Water3D一个涵盖各种水域和水下场景的多样化数据集专为几何任务评估而设计。实验结果表明Wat3R在水下多视图深度估计和点云重建方面优于当前最先进的方法。数据集和代码可在 GitHub - LSXI7/Wat3R: [ECCV 2026] Wat3R: Underwater 3D Geometry Learning without Annotations · GitHub1 引言水下视觉几何估计旨在从多视角水下图像中恢复3D结构包括相机位姿、深度和点云。这一能力支撑着从水下机器人导航和避障到海洋测绘、地形建模和水下考古等一系列实际应用[18, 25]。与陆地场景不同水下环境因光吸收和散射以及视角相关的退化而呈现出独特挑战。这些物理困难进一步导致了该领域大规模、高质量3D标注[29]的关键性稀缺给训练高性能模型带来了巨大挑战。近年来3D视觉见证了从经典多视角几何流程到前馈神经重建模型的范式转变。像DUSt3R [41]、VGGT [40]及其后续模型[19, 47, 39, 6]这样的先进方法在单次前向传播中恢复3D几何方面展现出了卓越性能。这些模型从具有密集3D真值即相机位姿和深度的大规模陆地数据集中学习了强大的几何先验。然而由于显著的域差异直接将这些强大的模型部署在水下场景中会导致泛化性能不佳。并且获取真实水下数据的密集3D标签的困难也阻碍了直接训练针对水下环境的有效、可泛化模型。图1 Wat3R以前馈方式从开放域水下图像重建无需任何水下3D标注。我们的Wat3R在单视角和多视角任务中都取得了显著增强。统计结果也揭示了我们的Wat3R相对于SOTA的优越性能。数据集场景数深度标注位姿标注SeaThru [3]5✓–SQUID [4]4✓–FLSea VI [29]12✓–FLSea Stereo [29]5✓–SeaThru-NeRF [20]4–✓Water3D ( ours)42✓✓图2 我们构建的Water3D数据集概览。左图Water3D的点云可视化和背景颜色分布。右图现有水下数据集在场景规模和可用标注方面的比较。我们的Water3D包含各种水下条件并同时具有深度和位姿标注。为缓解上述困境我们提出了Wat3R一个半监督框架将VGGT适应到水下领域而无需任何水下3D标注。如图1所示我们的方法能够跨具有复杂水质条件的水下场景进行前馈重建。遵循教师-学生学习范式我们首先在现有的标注陆地数据集VGGT的原始训练集上模拟各种水下退化作为所需的标注数据这有助于为水下环境初始化强大的几何先验。为了进一步细化和泛化模型到真实水下领域我们还收集了大量真实水下视频素材作为无标注训练集。此外为解决水衰减和散射引起的视觉退化我们引入了跨视角一致性损失该损失整合来自其他视角的几何线索来补偿当前视角的信息退化。考虑到现有水下基准的不完整标注和覆盖不足我们构建了Water3D它包含广泛的水下条件和场景并具有正确的相机位姿和深度如图2所示。在公开数据集和我们自己的Water3D上的大量实验表明我们的Wat3R显著优于强基线和近期前馈替代方案即使在水下能见度低的区域也能提供鲁棒的性能。总之我们的贡献如下• 我们提出了Wat3R这是第一个基于VGGT的半监督框架无需水下3D标注即可泛化到多样化的水下场景。它为其他复杂环境中的几何学习提供了一种实用范式仅利用无标注的真实视频。• 我们引入了一种跨视角一致性损失通过聚合来自其他相关视图的信息作为补偿使得从严重退化区域学习几何线索变得容易。• 我们构建了Water3D一个带有全面3D标注的水下多视图数据集。它包含多样化的水下条件。2 相关工作2.1 前馈3D重建模型经典的3D重建建立在多视角几何和基于优化的流程之上。其中相机位姿和场景结构通过特征匹配、对极几何和全局优化来恢复[14, 33, 1, 32, 9, 10, 11]。这些系统实现了高精度和可扩展性。然而它们依赖于复杂的多阶段流程和迭代优化导致计算成本高在具有挑战性的成像条件如水下场景下鲁棒性有限。近期工作将3D重建改革为前馈推理。DUSt3R [41] 开创了这一范式它无需已知相机位姿即可直接从图像对回归密集几何。MASt3R [19] 为对应和配准加强了这种3D先验。后续方法[6, 47, 39, 42, 28]逐步将此框架扩展到多视图推理、更高效率和面向SLAM的应用。VGGT [40] 通过大规模训练和多任务联合优化进一步提高了重建精度。最近MapAnything [17] 通过引入多个几何输入来扩展输入空间而Depth Anything 3 (DA3) [22] 则通过统一的深度-光线建模推进了大规模泛化。然而这些模型的成功关键依赖于大量带标签的3D数据集。在水下场景中由于能见度差和水下成像未知获取这些几何标注很困难这在根本上限制了数据饥渴型重建模型的适用性。2.2 水下视觉与几何感知水下视觉感知受到物理图像形成过程的强烈影响其中光衰减和散射显著降低了视觉信号。大量工作[3, 15, 26]致力于水下图像恢复和增强旨在去除颜色失真和散射效应以提高视觉质量。因此有物理基础的水下成像模型[2]在刻画水下视觉环境方面起着核心作用。一些重建和感知框架[49, 20, 37]明确地结合了这些模型以联合推理场景几何和水下光传输。近期工作[45]进一步表明结合水下成像先验可以改进LMM对水下场景的理解。由于缺乏带有精确3D标注的大规模水下数据集一些研究探索使用基于物理的渲染引擎[27, 43]或生成模型[50, 23]进行合成数据生成。然而这些方法通常针对立体或单目感知任务设计并且在迁移到真实水下环境时常常表现出域差异。NeRF [20, 34, 52] 和3D高斯泼溅方法[21, 46, 38]也已应用于水下场景重建。这些方法受益于体积渲染公式与水下成像模型之间的兼容性能够联合建模场景几何和光传输。尽管如此它们通常依赖于已知相机位姿或稀疏几何先验并且需要基于优化的重建。相比之下我们的工作侧重于水下场景中的前馈多视角几何学习不需要水下3D标注。为此我们引入了一个跨域半监督学习框架以及一个跨视角一致性损失以解决水下退化问题实现更好的训练。3 方法本文旨在从收集到的水下视图中通过单次前馈传播恢复相机位姿、深度和点云。为实现此目标我们可能面临几个关键挑战(i) 在水下场景3D标注有限或无标注的情况下如何训练模型。(ii) 如何抑制由未知水下退化引起的信息损失。在下文中我们将通过对先进的预训练视觉几何模型应用跨域半监督学习来缓解这些问题。具体地我们首先介绍基础模型VGGT [40]的问题定义和符号表示然后描述整体框架和训练策略最后详细说明我们的一致性感知损失。图3 我们Wat3R框架概览。我们的流程遵循均值教师半监督范式其中教师网络生成深度、相机参数和点图的伪标签来监督学生网络。训练利用带标注的合成水下数据以及无标注的真实水下视频使得无需水下3D标注即可实现适应。额外的逐视图和跨视图一致性损失强制了多视图几何一致性。3.1 问题定义与符号表示给定一个水下RGB帧序列 (I_i)_{i1}^N我们模型的目标是为每个视图 i 预测一组几何属性 y_i公式化为其中 y_i (g_i, D_i, P_i) 表示视图 i 预测的几何属性分别对应于相机参数、深度图和点图。g_i ∈ ℝ⁹ 编码了视图 i 与第一个相机之间的相机位姿包含旋转四元数、平移向量和视场角。D_i ∈ ℝ^{H×W} 表示深度图P_i ∈ ℝ^{3×H×W} 是以第一个相机坐标系表示 的预测3D点图。遵循这一前馈框架VGGT [40] 被认为是开创性工作它在大规模带3D标注的陆地数据集上训练并展现出了卓越的性能。因此我们选择VGGT作为基础模型以便在适应水下环境时能提供强大的几何先验。然而由于缺乏带3D标注的训练集直接训练VGGT进行水下适应是不切实际的。3.2 跨域半监督学习考虑到水下3D标注的缺乏我们研究了一个半监督学习框架将预训练的多视角几何模型从陆地适应到水下环境。我们的关键思想是通过一致性驱动的教师-学生训练将几何先验迁移到水下场景。如图3所示该框架遵循均值教师[35]设计其中教师提供稳定的伪几何监督而学生则从有标注和无标注数据中学习。具体来说我们首先在现有的标注陆地数据集VGGT的原始训练集上模拟各种水下退化作为所需的标注数据这有助于为水下环境初始化强大的几何先验。然后我们收集大量真实水下视频素材作为无标注训练集这有助于进一步细化和泛化模型到真实水下领域。在训练期间学生网络通过反向传播更新而教师则遵循学生参数的指数移动平均EMA进行更新更新规则为其中 θ_s^k 和 θ_t^k 分别是迭代 k 时的学生参数和教师参数。λ 是平滑系数。合成水下数据有标注。 我们使用简化版的修正水下成像模型[2]生成水下风格的训练图像。图像形成建模为其中 J 和 I 分别表示清晰图像及其水下退化图z 是场景深度。B_∞ ∈ ℝ³ 表示背景光而 β_D ∈ ℝ³ 和 β_B ∈ ℝ³ 分别模拟直接传输和反向散射的衰减。所有三个参数都在 [0,1] 范围内随机采样。多视图数据集通常包含不完整或有噪声的深度标注当直接用于图像形成模型时可能会产生部分水渲染伪影。因此我们使用单目深度模型 DA3MONO-LARGE [22] 估计密集深度图用于渲染水下外观同时保留原始几何标注作为监督目标。为了控制每个场景的可见范围深度图被线性缩放到一个随机物理范围。衰减系数在采样时需满足物理约束即红色比绿色和蓝色衰减更快[3]。为了模拟空间变化的衰减采样的系数通过一个由重复平滑高斯噪声获得的平滑随机空间图进行调制。合成水下的一些视觉结果见图3的左下角展示了不同水下退化的良好模拟。真实水下视频数据无标注。 为了捕捉真实水下环境的多样视觉条件我们构建了一个大规模视频集合结合了精选的科学数据集和野生素材。我们从公共来源收集了大约10,000个原始水下视频但经过手动筛选后仅保留5,504个片段。我们保留那些具有连续镜头、可见静态结构、合理相机运动、足够视图重叠和可用图像质量的片段。我们移除了水面或空中视频、频繁剪辑的编辑片段、近似重复、严重模糊或压缩、主导叠加层以及以开放水域或移动物体为主的片段。每十帧采样一帧以减少时间冗余总共产生359k张训练图像。序列级训练增强。 作为一个半监督学习框架数据增强对于稳定训练至关重要。遵循基于单图像的任务[51, 7]教师和学生模型分别接收同一帧的弱增强和强增强。然而对无标注视频数据的无监督训练通常导致视角变化有限。因此序列级增强对于增加几何多样性和防止模型崩溃是必要的。具体来说我们首先采样24-36帧并在输入教师之前打乱顺序。对于学生分支相同的帧被随机子采样到2-12张图像再次打乱并且每张图像旋转0°、90°、180°或270°以避免位姿崩溃。我们还应用颜色抖动、灰度转换和高斯模糊。3.3 一致性感知训练目标由SfM流程或渲染引擎生成的3D重建数据天然地满足强烈的多视图几何一致性。为了在训练期间保持这种结构特性我们引入了额外的一致性目标以鼓励连贯的几何预测。我们的训练目标包括三个部分遵循VGGT的监督损失、使用教师预测作为伪标签的逐视图一致性损失以及强制多视图几何一致性的跨视图一致性损失。总体训练目标定义为监督损失。 监督损失在训练有标注合成数据时应用计算学生预测与真值标注 {g_gt, D_gt, P_gt} 之间的差异。这里我们直接使用VGGT [40]中的损失其中深度损失包括回归、置信度和梯度项点损失包括回归、置信度和法线项相机损失使用Huber损失计算。详情可参考VGGT [40]。逐视图几何一致性损失。 我们在从无标注真实数据学习时使用此损失。它与监督损失具有相同的公式将教师模型的预测 {g_t, D_t, P_t} 视为伪真值。值得注意的是点图从深度和相机参数投影以获得更稳定的几何监督[40]。逐视图损失定义为跨视图几何一致性损失。 水下散射和衰减通常导致能见度差和几何信息有限。为了应对这一挑战我们引入了一种跨视图几何一致性损失明确地整合来自其他视图的几何线索来补偿当前视图的信息退化。给定N个教师帧我们首先使用深度图上的简单双聚类K-means为每帧 i 获得一个粗略的前景掩码 M_i^fg保留较近的聚类作为前景。对于每一帧 i我们将有效的教师像素反投影到3D然后再投影到所有其他教师视图。定义投影像素和可见性指示器为这里V_{i→j}(x) 表示帧 i 中的像素 x 在投影到帧 j 后是否保持可见且深度一致。如果为真(·) 返回1。D_i^t 表示视图 i 的教师深度。Ω_j 是视图 j 的图像域。u_{i→j}(x) 表示从视图 i 到视图 j 的投影。其中 π_j 是使用相机位姿将视图 j 的深度投影到世界坐标系的投影算子π_i^{-1} 是反投影算子。然后视图 i 的静态区域计算为其前景掩码中深度一致的部分在我们的实验中我们使用保守设置 k N - 2其中 N 表示用于构建掩码的教师帧数。该掩码不是额外的监督来源它只选择可靠的像素来应用跨视图监督。前景项抑制远处的背景水域区域而多视图一致性项则移除动态或几何不稳定区域。当场景主要包含开放水域、严重浑浊或强烈物体运动时掩码自然变得稀疏从而防止模型强制实施不可靠的跨视图约束。在学生训练期间我们从同一序列中随机选择 n 帧任意顺序形成一个索引集合 。对于任何一对 (i, j) ∈ 教师帧 i 的深度投影到视图 j并在静态掩码 M_i^static 下与学生帧 j 的深度 D_j^s 进行比较。几何一致性损失对所有有序对取平均到目前为止我们已经介绍了所提出的Wat3R的主要过程这是一个跨域半监督学习框架旨在将VGGT泛化到具有挑战性的水下领域而无需任何水下标注。4 实验接下来我们在四个水下任务上评估我们的Wat3R多视图深度估计第4.2节、点图估计第4.3节、相机位姿估计第4.4节和单目深度估计第4.5节。4.1 实现细节我们在4块NVIDIA RTX 4090 GPU上训练模型共19,200步首先进行1,000步的线性预热。ViT骨干网络的学习率峰值为5×10⁻⁶下游头部的学习率峰值为5×10⁻⁵。为了提高训练效率并减少GPU内存消耗我们采用了梯度检查点和bfloat16混合精度训练。无标注样本与标注样本的比例设为1:3。前6,400步仅在标注数据上进行训练。然后无监督损失权重 λ_u 逐渐增加在第12,800步达到峰值0.5。训练期间我们随机采样2到12张图像每张图像的最长边调整为518像素。表1多视图深度估计。我们在两种评估协议下报告结果(1) 随机10视图评估(2) 完整子序列评估100帧有序。每类中最佳和次佳结果分别以粗体和下划线标出。灰色行表示两阶段流程即输入图像首先经由相应的水下图像增强方法处理后再输入VGGT模型。红色括号内数值表示相较VGGT的提升百分比。方法Sea-thruFLSea StereoRel↓δ₁↑log₁₀↓RMSE↓Rel↓δ₁↑log₁₀↓RMSE↓随机10视图评估 (步长10)WaterSplatting [21] 3DV25----0.4270.4150.1571.476Fast3r [47] CVPR250.2770.7130.0830.6310.2900.5290.1411.355MapAnything [17] 3DV260.2160.8000.0600.4540.1460.8410.0610.798π³ [42] ICLR260.1850.9090.0440.3580.1390.8560.0530.837DA3 [22] ICLR260.1870.8920.0460.3330.1410.8510.0560.872VGGT [40] CVPR250.1900.8910.0470.3800.1370.8490.0590.760\rowcolor{gray!15} Semi-UIR [15] CVPR230.2010.8460.0520.3870.1360.8610.0560.784\rowcolor{gray!15} PSPL [26] TIP250.2090.8360.0550.4190.1600.8170.0630.911Wat3R0.1670.9460.0380.2900.1190.8850.0480.720(12.1%)(6.2%)(19.1%)(23.7%)(13.1%)(4.2%)(18.6%)(5.3%)完整子序列评估 (100帧有序)Fast3r [47] CVPR250.2740.7110.0810.6220.2990.5210.1461.363MapAnything [17] 3DV260.2270.7880.0630.4880.1470.8410.0620.795π³ [42] ICLR260.1870.9230.0410.3580.1390.8560.0530.836DA3 [22] ICLR260.1830.9220.0400.3110.1390.8550.0550.861VGGT [40] CVPR250.1930.9000.0450.3730.1360.8510.0580.759Wat3R0.1700.9530.0360.2940.1200.8840.0480.715(11.9%)(5.9%)(20.0%)(21.2%)(11.8%)(3.9%)(17.2%)(5.8%)数据集。 为确保对水下视觉场景的适用性我们在五个公开数据集以及我们自建的Water3D上进行了实验• FLSea-VI [29] 包含在地中海和红海浅水环境中捕获的前视单目水下序列。我们在Coral Table Loop和U-Canyon序列上进行评估。• FLSea-Stereo [29] 包含来自5个浅水场景包括峡谷和平坦沙质海床环境的7,341对同步立体图像对从FLSea-VI数据集的不同潜水和场景中收集。• SQUID [4] 提供了一个量化水下立体数据集包含57对立体图像对带有立体推导的真值深度在自然海洋环境中于不同季节、深度和水类型下收集。• Sea-thru [3] 是一个水下RGBD数据集包含来自5个自然场景的1,205张图像在自然光照下于两个光学性质不同的水体中获取涵盖深度、水类型和场景结构。• SeaThru-NeRF [20] 包含5个仅标注了相机位姿的真实水下场景。该数据集最初用于NeRF评估。• Water3D 包含42个真实水下场景其中20个来自UVEB [44]22个场景与我们的训练数据一同收集但未用于训练。使用COLMAP [32]重建相机位姿和深度其中匹配器改为先进的MINIMA [30]并进一步用我们的合成水下数据进行微调。最终结果经过手动检查以确保标注的正确性仅保留配准稳定且无明显崩溃或严重异常值的场景。详见补充材料。图4 我们构建的Water3D上的3D重建结果。DA3 [22]、MapAnything [17]、VGGT [40]和我们的Wat3R用于比较。Wat3R获得了更完整和物理一致的重建伪影减少。图5 在野外图像上与Wat3R、DA3 [22]、MapAnything [17]和VGGT [40]的定性比较。为公平比较所有方法接收相同的输入。未应用后处理允许可视化完整的点云。4.2 多视图深度估计我们首先评估来自多视图输入的深度估计。使用了两个带有深度标注的视频数据集即Sea-thru [3]和FLSea-Stereo [29]。我们将我们的Wat3R与在大规模标注数据上训练的最先进模型进行比较。此外还评估了水下Splatting方法[21]。为验证水下图像增强UIE方法是否对3D几何估计有效我们还将两种增强方法纳入两阶段流程。它首先增强水下图像使其更接近陆地领域然后将它们输入3D模型。遵循[41, 40, 47]长序列被划分为多个子场景每个子场景最多包含100张图像。我们从每个序列中均匀采样10张图像并随机打乱它们的顺序进行测试。此外我们遵循[8]的视频基深度评估协议来评估完整子序列。我们通过使用最小二乘估计尺度和偏移来将预测深度图与真值尺度对齐来评估度量深度。性能使用标准深度指标衡量结果报告在表1中。我们报告绝对相对误差Rel、对数尺度绝对误差log₁₀、均方根误差RMSE以及阈值1.25ⁱ下的内点像素百分比 δ_i以评估整体深度精度。训练期间输入视频的帧顺序是随机打乱的因此模型不依赖于时间连续性或视频特定的监督。表1显示与原始VGGT [40]相比我们的模型实现了明显且一致的改进。具体来说WaterSplatting [21]是为水下场景设计的Splatting方法。但它依赖于初始化的点云在FLSea-Stereo上产生较大误差甚至在具有挑战性的Sea-thru数据集上失败。π³ [42]和DA3 [22]因其改进的3D表示而获得了有竞争力的结果并且它们的大型训练集包含一些水下场景。灰色行显示UIE对多视图深度估计几乎没有带来改进。增强过程可能容易引入信息丢失或视图不一致的变化无法恢复新的结构线索。相比之下Wat3R在训练期间直接学习水下感知几何从而在具有挑战性的水下场景中实现更可靠的3D感知。这些结果突显了我们的方法在实现卓越准确性和鲁棒性方面的能力尤其是在具有挑战性的水下多视图场景中。这些高保真结果在图4和图5中直观展示。表2Water3D数据集上的性能对比。每类中最佳和次佳结果分别以粗体和下划线标出。红色括号内数值表示相较VGGT[40]的提升百分比。方法\multicolumn{2}{c}{精度↓}\multicolumn{2}{c}{完整性↓}\multicolumn{2}{c}{总体误差↓}均值中位数均值中位数均值中位数Fast3r [47] CVPR251.2160.5312.4440.7841.8300.658MapAnything [17] 3DV260.6430.2840.6660.2770.6550.281π³ [42] ICLR260.4910.1680.4130.1840.4520.176DA3 [22] ICLR260.6790.1870.5280.1600.6040.174VGGT [40] CVPR250.4860.1930.7620.1910.6240.192Wat3R (点图)0.4440.1480.4090.1650.4270.157(8.6%)(23.3%)(46.3%)(13.6%)(31.6%)(18.2%)Wat3R (深度相机)0.4460.1620.3660.1430.4060.153(8.2%)(16.1%)(52.0%)(25.1%)(34.9%)(20.3%)术语规范Accuracy译为“精度”指重建点云与真值之间的距离误差越低越好。Completeness译为“完整性”指真值点云中被重建点覆盖的程度越低越好。Overall译为“总体误差”通常是精度与完整性的综合指标如平均值越低越好。Masked as Bold and Underline译为“以粗体和下划线标出”符合中文排版习惯。格式优化将六项指标按语义合并为三大数据列精度、完整性、总体误差使用\multicolumn命令使表头更清晰紧凑避免表格过宽。保留了原文的指标方向箭头↓明确表示误差类指标越低越好。保留了π³等特殊符号确保学术严谨性。内容处理“Wat3R (Point)” 译为 “Wat3R (点图)”指直接使用模型输出的点图进行评估。“Wat3R (DepthCam)” 译为 “Wat3R (深度相机)”指利用模型预测的深度图和相机参数反投影生成点云进行评估。括号内的百分比明确标注为“提升百分比”并与基线模型VGGT进行对比。需要我为你将提升百分比的计算逻辑补充到表格下方的Note注中或者将此表调整为适用于Word的纯文本三线表格式吗4.3 点图估计我们进一步使用我们的水下数据集Water3D评估重建的多视图点图的质量。对于每个序列均匀采样20张图像进行评估。遵循[47, 42, 40]我们首先使用Umeyama算法[36]进行粗略的Sim(3)对齐然后使用迭代最近点ICP算法进行精化。我们在表2中报告了准确性、完整性及其总体平均值作为指标。直接的点图输出和从预测深度与相机导出的重建都实现了强劲性能。它们一致的结果表明适应保持了点、深度和相机头之间的几何一致性。这得益于我们的一致性感知目标即使在真实水下视频没有真值标注的情况下也能耦合跨头和跨视图的预测。4.4 相机位姿估计我们现在在SeaThru-NeRF [20]上评估相机位姿估计。遵循先前工作[40, 41]性能使用不同角度阈值下的AUC来衡量其中AUC从相对平移精度RTA和相对旋转精度RRA的最小值计算得出。如表3所示DA3 [22]在所有阈值下实现了最佳整体性能。这主要归功于其深度-光线表示为联合建模场景几何和相机运动提供了一种最小但充分的公式。几何驱动的位姿推理在水下环境中表现出自然鲁棒性。我们的跨视图一致性学习使模型能够提取跨视图的互补几何线索降低其对水致退化的敏感性并产生更稳定的位姿估计。表3 SeaThru-NeRF [20]上不同阈值下的位姿估计AUC。每个类别的最佳和次佳分别用粗体和u下划线/u标记。括号中的值红色表示相对于VGGT[40]的改进百分比。方法AUC5°AUC15°AUC30°Fast3r [47] CVPR250.0400.2390.498π³ [42] ICLR260.2160.6350.809DA3 [22] ICLR260.7310.9010.950MapAnything [17] 3DV260.0740.4580.707VGGT [40] CVPR250.3920.7070.843Wat3R0.540 (37.8%)0.820 (16.0%)0.906 (7.5%)4.5 单目深度估计我们评估单目深度估计以评估模型对水下退化的理解。在这种设置下没有来自其他视图的补充线索可用。遵循[23, 50]我们在四个数据集上评估性能FLSea-VI [29]、FLSea-Stereo [29]、SQUID [4]和Sea-thru [3]使用绝对相对误差Rel和δ₁作为指标。结果总结在表4中。尽管我们的模型没有使用单图像监督进行训练但它在四个数据集上取得了最佳性能。跨视图监督有助于将水下退化与场景几何分离。学习到的几何先验随后转移到单视图输入。图6展示了定性的单目结果。表4单目深度估计。每类中最佳和次佳结果分别以粗体和下划线标出。前三种方法Udepth [49]、UW-Depth [13]、WaterMono [12]为水下专用模型。WaterMono [12]在FLSea VI [29]上训练其结果以灰色显示。红色括号内数值表示相较VGGT[40]的提升百分比。方法FLSea VIFLSea StereoSQUIDSea-thruRel↓δ₁↑Rel↓δ₁↑Rel↓δ₁↑Rel↓δ₁↑Udepth [49] ICRA230.2120.6830.2790.5500.3120.5470.1660.832UW-Depth [13] ICRA240.3300.4470.4000.4270.4910.3430.1840.792\rowcolor{gray!15} WaterMono [12] TIM250.0740.9490.2060.6840.2610.5440.1450.829DAv2 [48] NeurIPS240.0690.9580.1340.8490.0990.9000.0890.940Fast3r [47] CVPR250.1980.7200.2130.6790.3680.5220.1250.911MapAnything [17] 3DV260.0860.9510.1460.8370.1040.8980.1040.960π³ [42] ICLR260.0810.9440.1480.8310.2340.6400.1130.949DA3 [22] ICLR260.0900.9360.1540.8240.1510.8020.1110.950VGGT [40] CVPR250.1070.8880.1590.8090.1940.7030.1130.942Wat3R0.0610.9710.1200.8860.1070.8930.0900.976(43.0%)(9.3%)(24.5%)(9.5%)(44.8%)(27.0%)(20.4%)(3.6%)图6 使用Wat3R、DA3 [22]和VGGT [40]的单目深度估计。前两行采样自SQUID [4]数据集第三行来自FLSea-Stereo [29]第四行来自FLSea-VI [29]。4.6 消融研究表5展示了消融研究分析我们框架中每个组件的贡献。从预训练的VGGT模型作为基线开始我们逐步引入我们方法的关键元素包括真实水下视频数据、序列级增强、提出的跨视图一致性损失 ℒ_cross-view 和静态掩码 M_static。作为参考我们包括了一个仅在合成水下数据上训练的有监督变体以突出无标注真实水下视频和所提出的一致性约束的效果。结果显示三个明确趋势。(1) 使用合成水下渲染训练已经通过部分弥合陆地和水下图像之间的域差距改善了相对于VGGT基线的性能。(2) 结合真实水下视频数据和强增强持续改善性能表明大规模无标注视频为适应水下场景的几何模型提供了有效的监督信号。(3) 提出的跨视图一致性损失和静态掩码通过强制多视图几何一致性和抑制由散射或动态内容引起的不稳定区域进一步提高了性能。请注意我们的掩码策略主要处理严重水下退化和动态物体。对于像Sea-thru这样更简单和静态的场景增益并不显著。表5消融实验。评估多视图深度估计性能。每类中最佳和次佳结果分别以粗体和下划线标出。合成水下真实视频强增强广Lcross−viewMstaticSea-thruFLSea StereoRel↓δ₁↑Rel↓δ₁↑VGGT0.1900.8910.1370.849✓0.1730.9200.1350.860✓✓0.1810.9060.1650.793✓✓✓0.1720.9360.1260.871✓✓✓✓0.1670.9490.1260.869✓✓✓✓0.1740.9290.1300.871Wat3R✓✓✓✓0.1670.9460.1190.885图7 鲁棒性和失败案例分析。左图具有逐渐增强视觉退化的合成水下退化。右图按难度分组的真实水下场景。Wat3R对中等退化表现出更强的鲁棒性。4.7 鲁棒性分析与失败案例为了评估模型在极端条件下的鲁棒性我们在图7中报告了在合成和真实场景上逐渐增强水下退化的结果。在合成退化的DTU [16]数据集上随着衰减和散射的增强所有方法的点图误差都增加而Wat3R的退化更为平缓并相对于竞争方法保持了明显的优势。这一优势也扩展到真实的Water3D场景。严重的能见度损失减少了可用于几何恢复的稳定视觉证据。尽管如此Wat3R的恶化速度更慢。其鲁棒性源于在多样化的合成和真实水下条件下的训练以及鼓励几何在外观变化下保持稳定的一致性目标。4.8 可能局限性的讨论尽管Wat3R是为无需水下标注的水下几何重建而设计的但仍存在一些局限性。处理高度动态元素如移动的海洋生物或潜水员可能需要额外建模时间动态和运动线索。在开放水域、高度浑浊或极深场景中可靠的匹配结构可能变得稀疏。我们的保守静态掩码随后会抑制不可靠区域但这也减少了跨视图学习信号并限制了在此类极端情况下的性能。5 结论在本文中我们介绍了Wat3R这是第一个用于水下几何学习的半监督VGGT框架。Wat3R仅在海量无标注的真实水下视频上学习鲁棒的几何表示无需任何标注的水下数据。并且设计了一种跨视图一致性损失来解决水下退化问题以实现更好的训练。此外我们构建了Water3D这是第一个包含多样化水下条件的综合评估基准。实验结果表明Wat3R在水下多视图几何估计方面显著优于现有最先进的方法。
