019 NeuMesh, Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing

Zhangwenniu 于 2022-11-09 发布

标题

NeuMesh: Learning Disentangled Neural Mesh-based Implicit Field for Geometry and Texture Editing

2022, ECCV, 0 citations.

链接

论文链接：

代码实现：

相关知识链接：

作者

Bangbang Yang1∗, Chong Bao1∗, Junyi Zeng1, Hujun Bao1, Yinda Zhang2†, Zhaopeng Cui1†, and Guofeng Zhang1†

1 State Key Lab of CAD&CG, Zhejiang University

2 Google

浙江大学计算机辅助设计和计算机图形学国家重点实验室的几个人。这篇文章的突出风格是，为了解决纹理编辑的目标任务，不断深入处理，引入多篇文章中的解决思路和处理办法，最终实现三维模型的隐式场纹理编辑。

计算机视觉希望能够得到一个通用的解决方法，计算机图形学可能更倾向于将一个问题做的比较好。

这篇文章算是神经隐式场表面重建工作的下游任务，并不致力于解决更好的表面重建效果。而是在默认表面已经有好的重建效果之后，使用特定的模型来解决实际的应用目标任务。

要点

目的

输入是某个物体来自多个视角的不同照片。

输出是编辑后的物体，这种编辑包括：对某些区域进行纹理交换；对某些区域进行纹理填充；在某张图片上作图，反映到整体三维模型中。

整体的想法是，能够尽可能的与目前的图形学编辑的流程、三维建模作图的流程对应起来。比方说作图，在某张图片上面作图成功，最好也能反应到其他的图像上面；如果想要编辑三维模型的纹理结构，最好是在三维模型的表面能够直接的编辑，不要翻折到UV纹理空间上面再编辑，因为UV纹理空间不容易展开，对人类的思维也是一种挑战。

思想

这篇文章，重要的一点在于，他通过实验、各种技术，证明从图像重建得到的隐式场，从隐式场中进行几何、纹理的解耦合是可以实现的。

NeRF学习到的纹理编码是可以解构、并且对应的地方进行解码，变换到对应的区域的。

NeuMesh本篇文章是优秀的计算机几何实践，从附录中能够看出，作者对许多的设想采取了设计和验证，选用多种已经得到检验的算法进行融合。虽然仍有一些缺陷，但达到了预期目标。

不过，这篇文章并没有从根本上提升模型的重构精度和重建质量。

方法

想法

解耦合：NeuMesh这篇文章，从隐式场中成功解构出纹理信息和几何信息。这种解耦合可能会在未来更进一步，在更多层面上进行解耦。目前的纹理信息解耦合，解出来的是辐射、亮度、色彩、光照等信息杂合起来的，未来有机会更进一步进行纹理信息的解耦。

优点

1、使用Mesh作为模型的先验，主要的操作是微调和蒸馏，让每一个Mesh顶点都能够拥有足够准确的空间几何编码和物体纹理编码。这种绑定的方法，能够方便基于Mesh的操作。例如基于Blender的物体形变、几何纹理填充、图像绘图反应到物体的三维空间信息。

这种绑定是一种聪明的绑定，也是无可奈何的绑定。因为隐式场的优点和缺点是同一件事情：隐式表达。优点在于避免设计者花费精力提取结构特征，降低人工操作成本；缺点在于设计者、使用者、构建者，也并不能清楚准确的掌控空间位置编码、纹理编码的具体内容，难以进行精细、准确的操作。为了让人理解，以人的操作为主，就需要将隐式的信息提取蒸馏为显式的信息。从隐式的表达中剥离出来，变成显式的结构化信息。这就需要一种显式的载体。显式载体可能来自于预训练模型，也可能是从隐式场中剥离出来。

其实，一个主要的原因在于，隐式表达结构的不可理解性和不可控制性。如果有办法直接对隐式场进行编辑和理解，将空间中的隐式编码显式的表示为人能够理解和接收的显式信息，我相信，这是人所期望的人工智能、深度学习的最终产物。

关于这种未来的确定显式性的表达结构，我还有一些话可能想说。人是希望深度学习的方法，不需要人在设计过程中确定性的设计出来规则、编码方案，让计算机能够编码出来，同时，人的创造性思维、理解力思维也能对隐式编码进一步操作。最好能让隐式编码重新变为显式编码，让人可以理解和编辑操作。人的可以编辑的操作，反向又合理映射回到隐式场中。这种确定性的显式操作，是NeuMesh这篇文章所拥有的哲学方法论上的思想实践。

缺点

1、文章着眼于处理几何、纹理的编辑，没有从根本上对NeuS的提取物体表面模型进行改进，仅仅是在其上进行蒸馏和微调，是改进型的工作。如果需要提升重建质量，还需要继续在约束、几何信息、模型函数上面，对NeuS等基础策略下功夫。

2、由于依赖于NeuS的表现提取，需要物体的表面重建的足够精致，这也对于NeuS的上游重建算法提出了要求。问题就出在这里。由于NeuS对输入信息的充分性有很大的依赖，缺少视角的情况下，重建效果会比较差。比如说，DTU-Scan24，小房子的图像输入，仅仅只有小房子左前方部分的视角图像，小房子右侧和右后方的输入信息是缺失的，因此会带来空间中位置信息的缺失，重建的效果也因此变差。

后续要读的文章