Multiview Neural Surface Reconstruction by Disentangling Geometry and Appearance
大名鼎鼎的,拖了好久没有看的IDR。
代码链接:lioryariv/idr (github.com)
作者
都是很熟悉的面孔了。后面发表了大名鼎鼎的VolSDF论文的作者Lior Yariv。来自Weizman科学研究所。
Lior Yariv ; Yoni Kasten ; Dror Moran ; Meirav Galun ; Matan Atzmon ; Ronen Basri ; Yaron Lipman
Weizmann Institute of Science
{lior.yariv, yoni.kasten, dror.moran, meirav.galun, matan.atzmon, ronen.basri, yaron.lipman}@weizmann.ac.il
摘要
相机的位姿,初始的时候是存在噪声和误差的。
导言
论文里引用的两篇最早使用0-level-set作为物体表面表示方法的论文分别是:
[26] Shichen Liu, Shunsuke Saito, Weikai Chen, and Hao Li. Learning to infer implicit surfaces without 3d supervision. In Advances in Neural Information Processing Systems, pages 8293–8304, 2019.
[33] Michael Niemeyer, Lars Mescheder, Michael Oechsle, and Andreas Geiger. Differentiable volumetric rendering: Learning implicit 3d representations without 3d supervision. arXiv preprint arXiv:1912.07372, 2019.
最初认为几何、外观和相机的参数都是不太清楚的,未知的。然而,在后期的工作中,都默认相机的位姿是已知并且精确的。
IDR的全称是Implicit Differentiable Renderer,隐式可微分渲染器。
先前工作
方法
3.2 表面光度场的近似
考虑到全局光照的影响
之前完全没有想过,阴影是如何产生的。如果在静态场景下,阴影被耦合进物体表面颜色的话,重新打光的时候,模型的颜色会产生问题。这是由于全局光照所带来的。阴影也和物体的几何外观、光线照射的情况是有关系的。
后续工作里面那么一长串的全局特征向量,是从这篇文章中找到的思路。但是特征向量的长度与sdf数值标量完全不对等呀,采用同一个MLP以应对如此多的任务,是否会让场景不能智慧地学习到这些特征呢?