1. Acquisition （数据采集）

Structure of Data:

1.1 Volume Scanning

Input: a sequence of slice images
Output: 3D models of human organs

采集横截面序列，得到物体的空间信息对于医学图像、分割非常重要。

Reconstruction from 2D contours

Note:contour topology can change

1.2 Shape from shading (SFS)

Input: a single image
Output: a 3D model (with albedo, normal, etc.)

基本方法

原理：根据 shading 估计出物体的信息相当于渲染的逆过程。[Horn 1980]

[16:40] 不考虑全局光照，只考虑局部光照，即Phong模型

进阶方法

[17:46] 如果输入多照图片，信息量更大，不仅能重建几何，还能重建材质、Normal。

Jiang et al. 3D Face Reconstruction with Geometry Details from a Single Image. IEEE Transactions on Image Processing, 2018.
Xu et al. Shading-based Surface Detail Recovery under General Unknown Illumination. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.

Wu et al. Unsupervised learning of probably symmetric deformable 3D objects fro images in the wild. CVPR 2020. (Best paper award)

Shape from a single image – Learning based method

以图像中提取出置信度、深度、纹理，然后重建出原图、单张图像建3D模型，结果不唯一，需要先验知识，或者用多视角。

Two confidence-adjusted reconstruction losses are minimized at the same time with asymmetric weights.

Wu et al. Unsupervised learning of probably symmetric deformable 3D objects fro images in the wild. CVPR 2020. (Best paper award)

1.3 Image based modeling (IBM)

Input: multiple photos from different views
Output: 3D models

原理：

两个相机有视角差。模型同一个点在两个相机中出现在不同的位置。
用(\(R\)旋转、\( t \)位置)来描述一个相机的状态
找出两个相机的对应关系

[23：43] 已知\(x\)点在三个相机呈像中的坐标
\((R、t)是相机外参， K\)(焦距)是相机内参
[25:02表] 公式中\(K和R\)是未知的，所有\(x\)已知的，根据关系列出等式，得到过约束系统，通过LS，求出内参和外参。
问题：怎么找到对应点？ SIFT
[27:46] 多视角动捕存在同步问题