如果有研究水下场景的研究者，可以通过邮箱zhangwenniu@163.com联系我，我目前创建了一个水下场景的研究者交流群，欢迎感兴趣的研究者加入。

图 1. 水下场景建模的挑战：（红色）与视角相关的悬浮颗粒和（蓝色）动态鱼类。

链接

Arxiv Link

发表时间：[v1] Sat, 22 Feb 2025 20:53:25 UTC (3,615 KB)

论文重点难点讲解

论文重点

1. 研究背景与动机

• 当前的NeRF模型在处理水下场景时存在不足，尤其是在处理动态干扰物（如游动的鱼和悬浮颗粒）时表现不佳。水下场景的特殊性（如光线与介质的相互作用、动态悬浮物和深度引起的可见性问题）使得传统的NeRF方法难以直接应用。

• 论文提出了一种新的NeRF渲染器和优化方案，专门针对水下场景中的静态目标进行建模，同时减少动态干扰物的影响。

1. 方法贡献

• 单表面渲染（Single Surface Rendering）：通过估计每条光线上的单个表面，减少动态干扰物对静态目标的影响。使用高斯权重函数重新分配光线上的透射率，将几何结构集中在目标表面附近，从而简化了建模复杂度。

• 深度引导的梯度缩放（Depth-based Gradient Scaling）：在优化过程中，通过放大远离相机的体积梯度，优先学习远距离的特征，从而提高模型在密集介质中的鲁棒性。

• 鲁棒损失（Robust Loss）：通过平滑核和迭代重加权最小二乘法（IRLS）调整损失函数，降低模型对异常值的敏感性。

1. 实验结果

• 在BVI-Coral和S-UW数据集上进行评估，结果表明AquaNeRF在PSNR、SSIM和LPIPS等指标上优于现有的SeaThru-NeRF和Nerfacto方法，分别提高了6.2%和7.5%的PSNR。

• 在包含动态干扰物的场景中，AquaNeRF显著减少了悬浮颗粒和动态物体的干扰，同时保留了静态目标的细节。

1. 结论

• AquaNeRF通过重新分配透射率和深度引导的梯度缩放策略，有效解决了水下场景中的动态干扰问题，同时简化了优化过程，提高了模型的鲁棒性和性能。

论文难点

1. 水下场景的复杂性

• 水下场景中的动态悬浮颗粒和动态物体（如鱼）会导致光线散射和遮挡，使得传统的体积渲染方法难以准确建模。此外，水下光线传播的视图依赖性（如色差和悬浮颗粒的分布）增加了建模的复杂性。

1. 单表面建模的实现

• 如何通过单表面建模有效地减少动态干扰物的影响，同时保留静态目标的细节是一个关键问题。论文通过高斯权重函数重新分配透射率，将光线上的权重集中在目标表面附近，但这种方法需要精确估计目标表面的位置。

1. 深度引导的梯度缩放策略

• 深度引导的梯度缩放需要在优化过程中动态调整梯度权重，以优先学习远距离的特征。然而，这种策略需要合理设置阈值（如平均深度阈值\(Th\)），以避免近处物体的欠拟合。

1. 模型优化的稳定性

• 在存在大量动态干扰物的场景中，模型的优化过程容易受到干扰，导致收敛不稳定。AquaNeRF通过鲁棒损失和深度引导的梯度缩放策略提高了优化的稳定性，但这些方法的参数调整需要仔细设计。

1. 计算效率与性能平衡

• AquaNeRF在处理复杂水下场景时表现出色，但其训练时间比Nerfacto等基线方法更长（约3小时对比2小时）。如何在保持性能的同时提高计算效率是未来工作的方向之一。

论文详细讲解

1. 研究背景与动机

水下拍摄成本高昂且技术受限，而先进的成像技术使得远程探索成为可能，帮助专家（如地质学家和考古学家）对水下环境进行建模。三维重建技术能够增强对水下生物、物体、损坏情况和海底的理解。然而，现有的NeRF模型在处理水下场景时存在不足，主要体现在以下几个方面：

• 动态干扰物：水下场景中存在动态的悬浮颗粒和游动的鱼，这些干扰物会影响对静态目标的建模。

• 光线与介质的相互作用：水下光线传播会受到介质的影响，导致视图依赖的色差和悬浮颗粒的分布问题。

• 深度引起的可见性问题：水下场景中，随着深度增加，光线衰减加剧，类似于低光照问题。

2. 方法贡献

论文提出了一种新的NeRF渲染器和优化方案，专门针对水下场景中的静态目标进行建模，同时减少动态干扰物的影响。主要贡献包括：

2.1 单表面渲染（Single Surface Rendering）

传统的NeRF方法在建模水下场景时，会将目标物体和密集介质作为独立的可训练参数，这增加了复杂性并导致优化不稳定。AquaNeRF通过估计每条光线上的单个表面来解决这一问题。具体方法如下：

• 高斯权重函数：使用高斯分布重新分配光线上的透射率，将权重集中在目标表面附近。假设目标表面的深度为光线与表面碰撞的中位点\(\mu_t\)，则新的权重分布为：

\[\hat{w}(t) = \frac{1}{\sqrt{2\pi\eta}} \exp\left(-\frac{(t - \mu_t)^2}{2\eta^2}\right)\]

其中，\(\eta\)为标准差，论文中取值为0.5。

• 固定背景透射率：通过在高斯分布上添加一个小的偏移量（如0.2），确保非表面区域的透射率保持恒定，从而将介质建模为低密度且均匀分布的背景。

2.2 深度引导的梯度缩放（Depth-based Gradient Scaling）

为了提高模型在密集介质中的鲁棒性，论文提出了一种深度引导的梯度缩放策略。该策略通过放大远离相机的体积梯度，优先学习远距离的特征。具体实现如下：

• 当平均深度\(D_{avg}\)高于设定的阈值\(Th\)时，梯度缩放因子为：

\[\nabla_{\text{grad}} = \frac{\partial C}{\partial w_i} \cdot \min\left(1, |c - p|^2\right)\]

其中，\(c\)为相机位置，\(p\)为样本位置，\(Th\)在实验中取值为0.02。

2.3 鲁棒损失（Robust Loss）

为了降低模型对异常值的敏感性，论文采用了鲁棒损失函数。通过平滑核\(B_{3\times3}\)对L2损失进行加权，调整损失函数的权重：

• 鲁棒损失函数定义为：

\[L_{\text{robust}} = \Upsilon(R_8(r)) \cdot L_{\text{rgb}}\]

其中，\(\Upsilon(R_8(r))\)为基于局部异常值检测的权重函数，\(L_{\text{rgb}}\)为RGB损失。

3. 实验结果

论文在BVI-Coral和S-UW数据集上进行了评估，结果表明AquaNeRF在处理动态干扰物方面表现出色，同时在静态场景中也优于现有的SeaThru-NeRF和Nerfacto方法。

3.1 动态干扰物场景

• AquaNeRF显著减少了悬浮颗粒和动态物体的干扰，同时保留了静态目标的细节。例如，在BVI-Coral数据集的测试中，AquaNeRF能够清晰地重建静态目标，而SeaThru-NeRF则存在明显的悬浮颗粒干扰。

3.2 静态场景

• 在没有动态干扰物的场景中，AquaNeRF在PSNR、SSIM和LPIPS等指标上优于SeaThru-NeRF和Nerfacto。具体数值如下：

模型	PSNR ↑	SSIM ↑	LPIPS ↓
Nerfacto	23.23	0.647	0.270
SeaThru-NeRF	24.66	0.703	0.263
AquaNeRF	24.98	0.730	0.230

4. 结论

AquaNeRF通过单表面建模和深度引导的梯度缩放策略，有效解决了水下场景中的动态干扰问题，同时简化了优化过程，提高了模型的鲁棒性和性能。该方法在处理水下场景时表现出色，为水下三维重建提供了一种新的解决方案。

论文方法部分详解

论文提出了一种针对水下场景的NeRF渲染器和优化方案，核心目标是减少动态干扰物（如悬浮颗粒和动态物体）对静态目标的影响。主要方法包括单表面渲染（Single Surface Rendering）、鲁棒损失（Robust Loss）和深度引导的梯度缩放（Depth-based Gradient Scaling）。

1. 单表面渲染（Single Surface Rendering）

单表面渲染是AquaNeRF的核心思想，旨在通过估计每条光线上的单个表面来减少动态干扰物的影响。具体实现如下：

1.1 高斯权重函数

传统的NeRF方法使用累积透射率函数来定义权重，但这种方法在密集介质中会导致权重分布过于分散。AquaNeRF通过高斯分布重新分配权重，将光线上的权重集中在目标表面附近：

\[\hat{w}(t) = \frac{1}{\sqrt{2\pi\eta}} \exp\left(-\frac{(t - \mu_t)^2}{2\eta^2}\right)\]

其中，\(\mu_t\)为目标表面的深度，即光线与表面碰撞的中位点；\(\eta\)为标准差，实验中取值为0.5。

1.2 固定背景透射率

为了确保非表面区域的透射率保持恒定，AquaNeRF在高斯分布上添加一个小的偏移量（如0.2），从而将介质建模为低密度且均匀分布的背景：

\[\hat{w}(t) = \min\left(\frac{1}{\sqrt{2\pi\eta}}, \hat{w}(t) + \text{base}\right)\]

其中，\(\text{base}\)为偏移量，取值为0.2。

1.3 优化过程

在优化过程中，高斯权重函数使得模型更加关注目标表面的颜色和位置，从而实现更稳定的优化。同时，通过固定背景透射率，减少了对非目标区域的建模复杂度。

2. 鲁棒损失（Robust Loss）

为了降低模型对异常值的敏感性，论文采用了鲁棒损失函数。具体实现如下：

2.1 平滑核加权

鲁棒损失通过平滑核\(B_{3\times3}\)对L2损失进行加权，调整损失函数的权重：

\[L_{\text{robust}} = \Upsilon(R_8(r)) \cdot L_{\text{rgb}}\]

其中，\(L_{\text{rgb}} = \|C_{\text{GT}}(r) - C(r)\|_2^2\)为RGB损失；\(\Upsilon(R_8(r))\)为基于局部异常值检测的权重函数。

2.2 异常值检测

通过在更大的\(16\times16\)区域内进行卷积，检测\(8\times8\)邻域内的异常值和非异常值：

\[\Upsilon(R_8(r)) = \begin{cases} \text{outlier}, & \text{if } \frac{1}{|R_{16}(r)|} \sum_{t \in R_{16}(r)} \hat{w}(t) \geq T_R \\ \text{inlier}, & \text{otherwise} \end{cases}\]

其中，\(T_R = 0.6\)为阈值。

3. 深度引导的梯度缩放（Depth-based Gradient Scaling）

为了提高模型在密集介质中的鲁棒性，论文提出了一种深度引导的梯度缩放策略，优先学习远距离的特征。具体实现如下：

3.1 梯度缩放策略

当平均深度\(D_{\text{avg}}\)高于设定的阈值\(Th\)时，梯度缩放因子为：

\[\nabla_{\text{grad}} = \frac{\partial C}{\partial w_i} \cdot \min\left(1, |c - p|^2\right)\]

其中，\(c\)为相机位置，\(p\)为样本位置，\(Th\)在实验中取值为0.02。

3.2 梯度缩放的作用

通过放大远离相机的体积梯度，模型能够更好地学习远距离的特征，从而减少近处悬浮颗粒的影响。同时，该策略避免了近处物体的欠拟合问题。

4. 实现细节

AquaNeRF在Nerfstudio平台上实现，使用三层MLP（每层128个神经元）估计颜色和密度。采用MipNeRF360的提案采样方案，优先采样高密度区域。优化器使用RAdam，学习率为0.01。

原文翻译

AquaNeRF：水下介质中的神经辐射场及其干扰物移除

卢卡·戈夫（Luca Gough）、阿德里安·阿扎雷利（Adrian Azzarelli）、张帆（Fan Zhang）、南希拉·阿南塔西里恰伊（Nantheera Anantrasirichai）

英国布里斯托大学视觉信息实验室，布里斯托，英国

摘要

神经辐射场（NeRF）研究在建模野外捕获的静态视频内容方面取得了显著进展。然而，当前的模型和渲染过程很少考虑水下场景，而这些场景对于研究和拍摄海洋生物非常有用。现有的模型无法解决水下场景中独特的视觉伪影问题，例如游动的鱼和悬浮颗粒。本文介绍了一种新颖的基于隐式MLP的NeRF模型的NeRF渲染器和优化方案。我们的渲染器通过估计每条光线上的单个表面，减少了干扰静态目标的漂浮物和动态物体的影响。我们使用带有小偏移量的高斯权重函数，以确保周围介质的透射率保持恒定。此外，我们通过深度引导的缩放函数增强模型，以放大近相机体积的梯度。总体而言，我们的方法在PSNR方面比基线Nerfacto提高了约7.5%，比SeaThru-NeRF提高了6.2%。主观评估也表明，与现有技术相比，我们的方法显著减少了伪影，同时保留了静态目标和背景的细节。

索引词：水下，3D表示，NeRF，隐式神经表示

I. 引言

图 1. 水下场景建模的挑战：（红色）与视角相关的悬浮颗粒和（蓝色）动态鱼类。

水下拍摄成本高昂且受到专家和技术的限制。如今，先进的成像技术使得远程探索成为可能，帮助地质学家和考古学家等专家对水下环境进行建模。通过图像序列的三维（3D）重建能够增强对水下生物、物体、损坏情况和海底的理解。神经辐射场（NeRFs）利用带有姿态信息的图像或视频帧以三维方式建模物体、场景和人物。自最初的NeRF[1]被提出以来，相关研究已扩展到包括航空摄影和大规模建模[2]–[4]以及随意捕获的内容[5]–[7]。然而，NeRF在密集介质中的应用仍处于探索阶段。最早的尝试是SeaThru-NeRF[8]，它通过一个独立的MLP引入了每条光线的唯一参数，例如后向散射、衰减密度和介质颜色。这些参数依赖于光线方向，并将介质属性（透射率和颜色）与物体特征分离，以增强清晰度。WaterNeRF[9]从基于物理的水下光传输模型[10]中估计参数，并通过最优传输进行颜色校正，以实现不同视角下的一致颜色。这两种方法在静态场景中表现良好，但在处理时间性遮挡（如鱼或颗粒）时存在困难。UWNeRF[11]分别建模静态和动态物体，其结果严重依赖于估计的掩码，渲染的动态物体有时更像是伪影而非真实物体。

建模水下场景的关键挑战包括[8]：（1）光与介质的相互作用导致视图依赖的色差；（2）相机附近动态的、视图依赖的悬浮颗粒；（3）在较深水下，能见度问题类似于低光照问题[12]、[13]。我们的研究还指出，镜头畸变、运动模糊以及动态物体（如鱼）与静态场景之间的相互作用也带来了挑战。这些相互作用可能导致类似模糊的效果，如图1所示，RobustNeRF[14]和SeaThru-NeRF[8]渲染的帧中出现了半透明的鱼和显著的漂浮物伪影，而我们提出的技术结果则与此形成鲜明对比。

在本文中，我们通过引入一种新的渲染器来解决上述挑战，该渲染器沿光线建模体积的累积密度，并将透射率从低密度区域重新分配到高密度区域。我们提出使用单个高斯分布来建模新的透射率函数，将视锥内的几何结构限制在单个表面周围的区域。这使得在优化过程中对目标处的高密度体积进行采样，从而更稳健地解释场景的几何结构。这种方法还减轻了视图依赖的高密度悬浮颗粒的问题，因为提议采样器被鼓励在所有视图中将几何结构泛化到单个表面上。此外，我们还整合了一种在优化过程中的梯度缩放方法。梯度缩放可用于优先学习特定特征。在我们的案例中，我们通过按距离比例放大梯度，优先学习远离相机的特征。这基于两个假设：（1）悬浮颗粒在靠近相机时更易被察觉；（2）远处（不重要的）背景物体的可见性较低，因此如果我们在密集介质中优先学习远离相机的物体，它们不太可能阻碍深度学习。总结来说，我们的贡献包括：1）引入一种新的渲染器，沿光线建模体积的累积密度，并将透射率从低密度区域重新分配到高密度区域；2）使用单个高斯分布来建模透射率函数，将视锥内的几何结构限制在单个表面周围的区域；3）在优化过程中整合梯度缩放，以优先学习在密集介质环境中可能更相关的特征。

II. 方法

图2. 所提出的渲染概述：利用颜色和密度输出，我们对权重分布\(w(t)\)进行建模，并根据\(\hat{w}(t)\)重新构建权重分布。

图2展示了我们在神经辐射场（NeRF）管线[1]方面的贡献概述。我们重新解释了文献[15]中提出的渲染方程：

\[C(\mathbf{r}) = \int_{t_n}^{t_f} T(t) \cdot \sigma(\mathbf{r}(t)) \cdot \mathbf{c}(\mathbf{r}(t), \mathbf{d}) \cdot dt \tag{1}\]

其中，像素颜色\(C(\mathbf{r})\)（与射线\(\mathbf{r}(t)\)和方向\(\mathbf{d}\)相关联）是通过对沿相机射线\(\mathbf{r}(\cdot)\)在\(t_n\)和\(t_f\)之间采样的体的透射率\(T(t)\)、密度\(\sigma(\cdot)\)和颜色\(\mathbf{c}(\cdot)\)进行建模来恢复的。我们解决了使用累积透射率函数的局限性，累积透射率函数为：

\[T(t) = exp\left(- \int_{t_n}^{t} \sigma(\mathbf{r}(u)) \cdot du\right) \tag{2}\]

用于定义权重：

\[w(t) = T(t) \cdot \left(1 - exp\left(-\sigma(\mathbf{r}(t)) \cdot \delta(t)\right)\right) \tag{3}\]

其中\(\delta(t)\)是沿射线的一个体所占据的长度，并且\(w(t)\)在公式(1)中取代\(T(t) \cdot \sigma(\cdot)\)，从而得到\(C(\mathbf{r}) = \int_{t_n}^{t_f} w(t) \cdot \mathbf{c}(\mathbf{r}(t), \mathbf{d}) \cdot dt\)。这基于以下假设：当光线在较密介质中散射时，从不透明物体到相机的光线透射率会随着两者之间距离的增加而减小。这在公式(2)中有体积上的意义，并且会导致更广泛的分布，如图2所示。在我们的方法中，我们通过将权重\(w(t)\)重新分布在单个点（假定为目标物体的表面）周围来定义一个紧凑的透射率分布。这避免了像在SeaThru - NeRF中那样对相机和目标物体之间包含密集介质的体进行建模的需要，因此相比之下降低了我们方法的复杂度。

A. 单表面渲染 - AquaNeRF

现有方法将目标物体和密集介质建模为单独的可训练参数。这增加了额外的复杂性，并且在存在干扰因素时会导致不稳定性。同样，我们将物体与环境分离。不过，我们对环境的描述不仅限于密集介质，还包括静态目标物体之外的所有内容。我们通过每条射线仅对单个表面进行建模来实现这一点，使用\(T(t)\)的原始预测来辅助单个体的深度估计。图2通过比较初始（左侧）和最终（右侧）的权重分布说明了这一点。

我们将射线与表面发生碰撞的深度定义为中点，并将其用作均值\(\mu_t\)。也就是在\(\mu_t = t\)这一点，权重的累积和

\[\omega(t) = \int_{t_n}^{t} w(u)du \tag{4}\]

超过阈值\(\omega(t) > 0.5\)。然后，我们使用以下公式将新的权重分布简化为均值为\(\mu_t\)且标准差固定为\(\eta\)的高斯分布：

\[\hat{w}(t) = \frac{1}{\sqrt{2 \pi} \eta} exp\left(\frac{-(t - \mu_t)^2}{2\eta^2}\right). \tag{5}\]

我们发现，从峰值信噪比（PSNR）的角度来看，\(\eta\)值在0.3到0.6之间能得到最佳结果，因此在本文后续内容中，我们将\(\eta\)设为0.5。高斯分布特别有用，因为函数\(\hat{w}(t)\)下的面积为1，如公式(6)所示。这与原始权重分布\(w(t)\)的积分一致。得到的透射率随后在单个表面点周围进行正态重新分布，而不改变沿射线的颜色分布。

\[\int_{-\infty}^{\infty} w(t)dt = \lim_{r \to \infty} \left(\sum_{t = t_n}^{t_f} \frac{w(t/r)}{r}\right) = 1. \tag{6}\]

由于导数\(\delta w(t)\)与\(w(t)\)等价，体样本的梯度遵循相同的分布。在优化过程中，这使得我们能将更多注意力放在学习单表面高斯分布的颜色和位置上；从而在不引入额外可学习参数的情况下实现更稳定的优化。

最后，为了对密集介质进行建模，我们对\(\hat{w}(t)\)应用一个偏移量，以提高与非表面体相关的最小密度值。这确保了与介质相关的权重是固定且恒定的，意味着将介质建模为低密度且均匀分布在整个场景中。最大值保持为\(\frac{1}{\sqrt{2\pi}\eta}\)。因此，最终权重定义为

\[\hat{w}(t) = \min\left(\frac{1}{\sqrt{2\pi}\eta}, \hat{w}(t) + \text{base}\right). \tag{7}\]

在本文中，我们将\(\text{base}\)的值设为0.2。据观察，与没有偏移量的视图相比，具有较小偏移量值的新视图展现出更好的细节。

B. 稳健损失和基于深度的梯度缩放

根据文献[14]，我们引入了稳健损失（RL）来降低模型对异常值的敏感度，具体做法是将一个3×3的平滑核\(\mathcal{B}_{3×3}\)应用于\(L_2\) RGB损失：

\[\mathcal{L}_{\text{rgb}} = \left\|C_{GT}(\mathbf{r}) - C(\mathbf{r})\right\|_2^2 \tag{8}\]

其中\(GT\)表示真实值，使用\(\mathcal{W}(r) = (\mathcal{L}_{\text{rgb}}^{r} * \mathcal{B}_{3×3}) \geq 0.5\)。然后，基于在更大的16×16像素块上的卷积，利用异常值的空间局部性，将一个8×8的像素邻域分类为异常值或内点，即\(\Upsilon(R_8(r)) = A_{t \in R_{16}(r)}(\hat{w}(t)) \geq T_R\)，其中\(T_R = 0.6\)表示阈值，\(A\)是在指定邻域上的聚合函数。

最后，如公式(9)所述，使用迭代加权最小二乘法（IRLS）对\(L_2\)损失进行重新加权。

\[\mathcal{L}_{\text{robust}}^{r} = \Upsilon(R_8(r)) \cdot \mathcal{L}_{\text{rgb}} \tag{9}\]

其中\(R_N(r)\)定义了围绕\(\mathbf{r}\)的\(N×N\)邻域。这种方法基于对异常值存在的局部评估，有效地调整了损失的权重。

在实践中，这种方法的微调具有挑战性。因此，我们仅在给定视图的平均深度\(D_{avg}\)高于定义的阈值\(T_h\)时才进行梯度缩放。这避免了对近视锥体物体的欠拟合，同时允许对训练集中包含较高比例远距离观测的图像进行梯度缩放。公式(10)表示我们应用于RGB损失\(\partial C\)的基于深度的梯度缩放（D - GS），对于位于\(c\)处的相机在位置\(p\)的样本，关于特定权重\(\partial w_i^{(L)}\)的梯度为：

\[\nabla_{\text{grad}} = \begin{cases} \frac{\partial C}{\partial w_i} \cdot \min(1, |c - p|^2), & \text{if } \frac{1}{M} \sum_{i = 0}^{M}(|c - p_i|) > T_h \\ \frac{\partial C}{\partial w_i}, & \text{otherwise} \end{cases} \tag{10}\]

其中\(M\)是射线的数量。根据经验，\(T_h\)设置为0.02。

C. 实现与优化

我们在Nerfstudio平台上实现我们的方法，使用一个具有128个神经元的三层多层感知器（MLP）来估计颜色和密度。对于体采样，我们采用来自MipNeRF360[16]的提议采样方案，优先对高密度区域进行采样。每2000次迭代通过监测峰值信噪比（PSNR）来进行提前停止，如果PSNR下降则停止训练。我们使用修正的Adam（RAdam）优化器而非Adam优化器，以0.01的学习率实现更稳定的收敛[17]。姿态估计使用COLMAP软件[18]进行。

III. 结果与讨论

性能通过PSNR、SSIM和LPIPS进行评估，并通过视觉比较进行验证。我们将AquaNeRF与SeaThru-NeRF[8]、RobustNeRF[14]进行对比，并将Nerfacto[19]作为基线。由于WaterNeRF[9]依赖于原始水下图像，因此未包含在对比中。我们使用BVI-Coral[20]和S-UW[21]数据集来评估模型。这些场景包含从低到中等不同程度的浑浊度，并包含噪声、小悬浮颗粒以及动物偶尔干扰等挑战。我们将每个视频划分为训练、验证和测试片段，比例分别为80:10:10。

A. 性能对比

从带有动态干扰物的图像序列中渲染静态区域主要通过可视化进行评估，因为客观评估需要真实值。在我们的应用中，这依赖于没有干扰物的静态场景。尽管这未能完全体现论文的主要目标，但它证明了所提出框架在无干扰区域应保持性能。

图3. 来自BVI - Coral数据集的渲染结果的视觉对比。顶行包含悬浮颗粒，两行都包含动态鱼类。

图4. 清澈介质中动态物体的去除

1. 带有动态干扰物的场景：图1和图3展示了AquaNeRF在充满悬浮颗粒和鱼的场景中的有效性，显著减少了场景中的干扰物。例如，在图3的底行中，AquaNeRF显著降低了SeaThru-NeRF渲染中明显的深色悬浮颗粒及其相关阴影效果的可见性。我们还在清澈介质中测试了我们的方法。如图4所示，AquaNeRF在处理干扰物方面优于Nerfacto。

表1. 无移动物体场景的平均性能。绿色突出显示表示最佳性能。

1. 没有动态干扰物的场景：尽管AquaNeRF是为水下介质中的动态物体和悬浮颗粒设计的，我们还是评估了其在静态场景中的性能。表I列出了没有动态物体的帧的指标，以便与真实值进行准确比较。AquaNeRF超过了Nerfacto和SeaThru-NeRF，分别提高了7.5%和6.2%的性能。尽管AquaNeRF在静态场景中与RobustNeRF相当，但RobustNeRF在处理动态物体的伪影方面存在困难，如图1和图3所示。这可能是由于RobustNeRF专注于最小化远距离视角的遮挡，从而导致背景更清晰，但对更接近、更大的伪影处理效果不佳。尽管SSIM和LPIPS指标相似，AquaNeRF在处理动态干扰物方面表现出色，并在静态场景中表现相当或更好。

B. 消融实验

表2. 梯度缩放（GS）和基于深度的梯度缩放（D - GS）对比。绿色表示最佳性能。

1. 梯度缩放和鲁棒损失：表I展示了梯度缩放方案对减少漂浮物伪影的影响。我们的方法在多种场景中表现出色，无需额外约束。我们观察到，在悬浮颗粒较少的场景中，深度导向的解决方案是最有效的方法。

图5. 应用于K - Planes[23]的AquaNeRF渲染的视觉对比。所有场景的平均峰值信噪比（PSNR）为22.5。

1. 动态NeRF：我们在K-Planes[24]上实现了AquaNeRF渲染技术，这是一个旨在分离场景中动态和静态元素的动态NeRF模型。图5展示了该实验的视觉结果，表明K-Planes在捕捉高频细节方面不如AquaNeRF的静态版本有效。

C. 限制

图6. 沉船数据集评估。左侧：原始数据集图像。右侧：我们的模型生成的图像。

在拍摄不同距离的静态图像时，我们的方法存在困难，因为来自远距离相机的光线在到达表面体素之前就衰减了。假设各向同性的密度导致低密度体积的呈现，实际上替换了水。如图6所示，尽管重建的图像模糊且色彩准确性较低，但仍然保留了数据集的原始结构。使用RTX3090 GPU在BVI-Coral数据集上，RobustNeRF、SeaThru-NeRF和AquaNeRF的训练时间约为3小时，而Nerfacto约为2小时。该方法可以通过显式表示[25]–[27]加速颜色和密度推理过程。

IV. 结论

本文提出了一种新颖的方法，用于使用带有轻微偏移的高斯分布的重加权策略对密集介质中的静态场景进行建模。这种方法有效地解决了水下数据集中的漂浮物和动态伪影问题。AquaNeRF在降低复杂性和简化调整的同时，提高了客观和视觉性能，优于现有方法。我们探索了多种优化方案，最终选择了一种深度引导的梯度缩放策略，该策略优于之前的鲁棒损失和梯度缩放方法。针对这些挑战量身定制的AquaNeRF提供了比其他方案更稳定的优化，而其他方案在实践中被证明不够可靠。