037 IDR. Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance

Zhangwenniu 于 2023-03-16 发布

Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance

大名鼎鼎的,拖了好久没有看的IDR。

代码链接:lioryariv/idr (github.com)

项目的链接:Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance (lioryariv.github.io)

作者

都是很熟悉的面孔了。后面发表了大名鼎鼎的VolSDF论文的作者Lior Yariv。来自Weizman科学研究所。

Lior Yariv ; Yoni Kasten ; Dror Moran ; Meirav Galun ; Matan Atzmon ; Ronen Basri ; Yaron Lipman

Weizmann Institute of Science

{lior.yariv, yoni.kasten, dror.moran, meirav.galun, matan.atzmon, ronen.basri, yaron.lipman}@weizmann.ac.il

摘要

相机的位姿,初始的时候是存在噪声和误差的。

导言


论文里引用的两篇最早使用0-level-set作为物体表面表示方法的论文分别是:

[26] Shichen Liu, Shunsuke Saito, Weikai Chen, and Hao Li. Learning to infer implicit surfaces without 3d supervision. In Advances in Neural Information Processing Systems, pages 8293–8304, 2019.

[33] Michael Niemeyer, Lars Mescheder, Michael Oechsle, and Andreas Geiger. Differentiable volumetric rendering: Learning implicit 3d representations without 3d supervision. arXiv preprint arXiv:1912.07372, 2019.


最初认为几何、外观和相机的参数都是不太清楚的,未知的。然而,在后期的工作中,都默认相机的位姿是已知并且精确的。


IDR的全称是Implicit Differentiable Renderer,隐式可微分渲染器。


先前工作

方法

3.2 表面光度场的近似

考虑到全局光照的影响


之前完全没有想过,阴影是如何产生的。如果在静态场景下,阴影被耦合进物体表面颜色的话,重新打光的时候,模型的颜色会产生问题。这是由于全局光照所带来的。阴影也和物体的几何外观、光线照射的情况是有关系的。


后续工作里面那么一长串的全局特征向量,是从这篇文章中找到的思路。但是特征向量的长度与sdf数值标量完全不对等呀,采用同一个MLP以应对如此多的任务,是否会让场景不能智慧地学习到这些特征呢?