简介：用几张不同打光角度下的物体灰度图，就能还原出它的三维表面细节。这个工具包用Python实现光度立体法全流程：先标定光源方向，再拟合法向量场，接着通过泊松积分算出深度图，最后生成带纹理坐标的OBJ网格模型。附带猫模型的12张原始输入图（cat.0.png到cat.11.png），以及对应的法向量图、深度图、.npy数组文件和渲染效果图（正视、俯视、左视等）。GA-NN.ipynb和MST-GA.ipynb两个脚本展示了遗传算法如何优化法向量求解过程，main.ipynb是完整流程入口。所有代码都有中文注释，关键步骤如反射模型拟合、光照方向校准、深度积分、网格构建都清晰可读。配套实验报告PDF详细说明了遗传算法的参数设置、收敛表现和对比结果，还有光度立体流程图和遗传算法示意图辅助理解。支持直接运行，依赖库为Python 3.x、OpenCV、NumPy、SciPy、PyVista或trimesh，建议解压到纯英文路径避免编码错误。
1. 项目概述：一张图讲清“光度立体”到底在做什么
你有没有试过只用手机拍几张照片，就让电脑自动算出这个物体表面哪块凸、哪块凹、哪条棱最锐利？不是靠双目视差，也不是靠激光扫描，而是靠——光。对，就是我们每天都在用、却从没想过它能当“尺子”用的普通光源。这个工具包干的就是这件事：给定同一物体在12个不同方向打光下的灰度图（比如猫模型的cat.0.png到cat.11.png），不依赖任何深度传感器或结构光设备，纯靠图像亮度变化反推表面朝向，再一步步重建出带真实几何细节的三维网格模型（cat.obj）。它背后的核心方法叫光度立体法（Photometric Stereo）——听起来高大上，其实逻辑非常朴素：一个光滑表面上的某一点，亮度强弱直接取决于它“脸朝哪边”和“光从哪来”。就像你用手电筒斜着照一堵砖墙，砖缝会显得特别暗，而砖面则亮得刺眼；如果手电筒正对着照，所有砖面亮度就趋于一致，缝隙反而不明显。这种亮度与方向之间的定量关系，就是整个重建过程的物理锚点。
我第一次跑通这个流程时，盯着屏幕上慢慢浮现出来的猫鼻子轮廓，心里想的是：原来我们眼睛每秒都在做这件事——大脑自动比对不同角度下同一区域的明暗差异，默默估算着它的朝向和起伏。而这个Python工具包，就是把这套生物视觉机制，翻译成了可复现、可调试、可量化的数学代码。它不是黑箱API，所有关键环节都摊开在Jupyter Notebook里：从最基础的光照方向标定（light.txt里存着12组单位向量）、到反射模型拟合（Lambertian漫反射假设是否成立？要不要加镜面项？）、再到法向量场优化（为什么遗传算法比最小二乘更鲁棒？）、最后是深度积分的数值陷阱（泊松方程边界条件怎么设才不漂移？）。配套的实验报告PDF不是走形式，而是真把GA-NN.ipynb里种群规模、交叉概率、变异率这些参数怎么调、为什么这么调、调完收敛曲线长什么样，一页页截图+文字分析给你看透。它适合谁？如果你正在做计算机视觉课设，需要一个有物理依据、有完整pipeline、有可视化结果、还能写进报告里的项目，它就是你的“标准答案”；如果你是三维建模爱好者，想绕过昂贵的3D扫描仪，用普通相机+台灯组合低成本获取小物件的几何数据，它就是你的“平民版逆向工程套件”；如果你是算法工程师，想快速验证某种新优化策略在法向量求解中的效果，main.py暴露的接口足够你替换核心求解器而不碰其他模块。关键词里提到的“法向量估计”“深度图生成”“三维重建”，不是并列功能，而是严格串行的因果链：没有准确的法向量，深度图就是一团噪声；没有稳定的深度图，OBJ模型的顶点坐标就全是错的。接下来我会带你一层层剥开这个链条，告诉你每一行关键代码在解决什么问题、为什么非得这么写、以及我踩过的那些坑——比如为什么用PyVista渲染出的猫耳朵边缘发虚，后来发现是深度图插值时用了双线性而非最近邻；比如为什么MST-GA.ipynb里特意加了马尔可夫随机场（MRF）平滑项，就因为原始GA解出来的法向量场在纹理边缘存在高频抖动……这些细节，文档不会写，但实操时分分钟卡死你。
2. 光度立体原理与整体流程拆解：为什么12张图就能算出三维？
2.1 核心物理模型：亮度 = 反射率 × 光源方向 · 表面法向量
光度立体法的全部力量，都压在这一行公式上：
Ii(x, y) = ρ(x, y) × (li · n(x, y))
其中：
- Ii(x, y) 是第i张图像中像素(x, y)处的灰度值（已归一化到[0,1]）；
- ρ(x, y) 是该点的表面反射率（albedo），即它本身有多“白”或多“黑”，是个标量且与光源无关；
- li 是第i个光源的方向向量（必须是单位向量），这是已知量，存在light.txt里；
- n(x, y) 是该点真实的表面法向量，是我们要求解的三维未知量（x,y,z三个分量）。
这个公式基于Lambertian漫反射模型——假设表面像一块磨砂玻璃，光线均匀向各个方向散射，其亮度只取决于入射角（即光源向量与法向量的夹角余弦）。虽然现实中很多物体有镜面反射（比如猫毛、陶瓷釉面），但作为入门级重建，Lambertian假设足够有效，且极大简化了数学推导。重点来了：对于图像中任意一个固定像素位置(x, y)，我们有12个方程（对应12张图），但未知数只有4个：ρ(x, y) + nx(x, y) + ny(x, y) + nz(x, y)。只要光源方向线性无关（实践中用12个方向远超最低要求的3个），这个方程组在理论上就有唯一解。但现实永远比理论复杂：图像噪声、阴影遮挡、镜面高光、相机响应非线性、光源强度微小波动……都会让直接求解变得不稳定。这就是为什么工具包提供了两种求解路径：一种是传统最小二乘（在Photometric_Stereo.py里），另一种是更鲁棒的遗传算法（GA-NN.ipynb和MST-GA.ipynb）。
2.2 整体流程四步走：从图像到OBJ，每一步都是必经关卡
整个重建流程被清晰地切分为四个不可跳过的阶段，它们像齿轮一样咬合传动：
-
光照方向标定与预处理（Preprocessing）：
这是所有后续计算的地基。light.txt文件里存着12组三维向量，例如[0.707, 0.0, 0.707]代表光源从右上方45度照射。但这些向量是怎么来的？工具包默认你已通过标定板（如棋盘格）或已知几何体（如球体）完成了物理标定——比如用一个哑光白球放在场景中，拍12张图，球面上最亮点的位置就对应光源方向在图像平面的投影，再结合球心位置反推三维向量。iamge_operations.py里的load_images_and_light()函数负责读取所有cat..png并校验尺寸一致性，同时加载light.txt。这里有个极易被忽略的细节：所有输入图像必须是严格对齐的灰度图*。如果拍摄时物体轻微移动，或者镜头焦距有变化，会导致像素坐标(x,y)无法跨图一一对应，整个法向量求解就崩了。所以项目说明.txt里反复强调“拍摄时务必固定相机和物体”。 -
法向量场估计（Normal Estimation）：
这是最核心、也最易出错的环节。Photometric_Stereo.py中的estimate_normals_ls()函数用最小二乘法对每个像素独立求解：构造12×3的光照矩阵L（每行是li），12×1的亮度向量I，解方程 L·n = I/ρ。但ρ是未知的！聪明的做法是先假设ρ=1，解出n’，再用||n’||归一化得到初步法向量，然后迭代更新ρ = I / (L·n’)。然而，当某个像素被阴影完全覆盖（Ii=0）或被强高光饱和（Ii=255）时，这个迭代会发散。这就是GA-NN.ipynb存在的意义：它把每个像素的法向量n看作一个三维搜索空间中的个体，用遗传算法直接优化目标函数sum((I_i - ρ * dot(l_i, n))^2)，并加入约束||n||=1和dot(l_i, n) >= 0（保证法向量朝向光源，避免背面误判）。MST-GA.ipynb更进一步，在GA基础上引入马尔可夫随机场（MRF）能量项，惩罚相邻像素法向量的剧烈差异，强制空间平滑——这正是解决纹理边缘锯齿的关键。 -
深度图生成（Depth Map Generation）：
拥有了全场法向量n(x,y)，下一步是求深度z(x,y)。这本质上是解一个偏微分方程：因为法向量是表面高度函数z(x,y)的梯度方向，即n = [-∂z/∂x, -∂z/∂y, 1] / sqrt((∂z/∂x)^2 + (∂z/∂y)^2 + 1)。忽略分母的复杂性（假设表面起伏不大），可近似为∂z/∂x ≈ -n_x/n_z,∂z/∂y ≈ -n_y/n_z。于是问题转化为：已知z对x和y的偏导数，如何积分还原z？这就是泊松积分（Poisson Integration）。main.ipynb里调用scipy.sparse.linalg.spsolve()求解大型稀疏线性系统∇²z = ∇·(-n_x/n_z, -n_y/n_z)。这里埋着两个深坑：第一，边界条件必须设定。工具包采用“Neumann边界”（即假设边界法向量已知，深度梯度为零），这比Dirichlet（固定边界深度值）更符合实际，因为你根本不知道物体底面在哪；第二，n_z接近零的区域（如表面垂直于视线的侧壁）会导致除零错误和深度爆炸，depth_cat.jpg里猫耳朵内侧的噪点，往往就源于此——解决方案是在estimate_depth_poisson()函数中加入阈值截断：n_z = np.clip(n_z, 0.1, None)。 -
OBJ模型导出与可视化（Mesh Export & Rendering）：
深度图z(x,y)本质是一个规则网格上的高度场。main.py中的depth_to_mesh()函数将其转换为三角网格：将每个像素视为一个顶点，按行列顺序连接成四边形，再沿对角线剖分为两个三角形。顶点坐标为(x, y, z[x,y])，纹理坐标(u,v)直接映射为(x/width, y/height)。最终调用trimesh.Trimesh(vertices=verts, faces=faces).export('cat.obj')生成标准OBJ文件。为什么配套提供PyVista和trimesh两个选项？因为PyVista渲染快、交互好，适合实时查看；而trimesh导出的OBJ更规范，兼容Blender、Maya等专业软件。你看到的“正视图.png”“俯视图.png”，就是用PyVista从不同视角camera_position渲染的结果，连光照模型（Phong）和材质（metallic/roughness）都已预设好。
2.3 方案选型逻辑：为什么不用深度学习？为什么坚持遗传算法？
有人会问：现在用CNN做单图深度估计都挺火了，为啥还要搞这么“古老”的光度立体？答案很实在：精度、可控性、数据成本。一个训练好的CNN模型可能在公开数据集上指标漂亮，但面对你桌上那个反光的不锈钢杯子，它大概率会把高光区域误判为凸起；而光度立体法，只要你能控制光源方向、拍出无运动模糊的12张图，它的物理模型就决定了结果必然反映真实几何。至于为什么在传统最小二乘之外，还花大力气实现GA-NN和MST-GA？因为我在课程设计中真实遇到过：用最小二乘重建一个哑光陶罐，罐口边缘出现大量“毛刺”状伪影，放大看是法向量方向随机翻转。查原因发现，那里恰好是多张图中都有轻微阴影过渡的区域，最小二乘对异常值极度敏感。而遗传算法，作为一种全局优化方法，天然具备抗噪能力——它不追求单点最优，而是寻找一片“足够好”的解空间。MST-GA里的MRF项，则是把“相邻像素应该相似”这个人类先验，硬编码进了优化目标。这不是炫技，是实打实解决工程问题的思路：当数学模型（Lambertian）与物理世界（复杂反射）出现偏差时，用更强的优化框架去兜底。
3. 核心细节解析与实操要点：代码里藏着的魔鬼
3.1 光照方向标定：light.txt的格式与校验逻辑
light.txt是整个项目的“罗盘”，它的正确性直接决定重建结果的生死。文件内容长这样：
0.7071067811865476 0.0 0.7071067811865476
-0.7071067811865476 0.0 0.7071067811865476
0.0 0.7071067811865476 0.7071067811865476
...
共12行，每行3个浮点数，代表一个单位向量。注意三点：第一，必须是单位向量。如果标定时算出的是[1, 0, 1]，必须手动归一化为[0.707, 0, 0.707]，否则公式 I = ρ * (l·n) 的物理意义就失效了；第二，向量指向光源，即l是从物体表面指向光源的方向，不是从光源指向物体（这是初学者最高频的错误）；第三，12个方向需尽量分散。工具包自带的猫模型标定数据，覆盖了上、下、左、右、前、后及多个倾斜角度，确保对任意朝向的表面都有至少3个良好照明。main.ipynb在加载时会执行严格校验：
lights = np.loadtxt('light.txt')
assert lights.shape == (12, 3), "光源数量必须为12"
assert np.allclose(np.linalg.norm(lights, axis=1), 1.0, atol=1e-6), "所有光源向量必须是单位向量"
# 检查是否线性无关：计算12x3矩阵的秩
_, s, _ = np.linalg.svd(lights)
assert np.sum(s > 1e-8) >= 3, "光源方向必须线性无关（秩>=3）"
这段代码看似简单，却拦住了90%的配置错误。我曾见过同学把light.txt里一行写成0.707, 0.0, 0.707（逗号分隔），np.loadtxt默认按空格分割，结果只读到第一个数，后面全为0，导致整个法向量场坍缩成一个平面。
3.2 法向量求解：最小二乘 vs 遗传算法的实战对比
Photometric_Stereo.py里的estimate_normals_ls()是教科书式实现，但GA-NN.ipynb才是项目灵魂所在。我们来对比它们在同一张猫眼区域（50x50像素）上的表现：
| 指标 | 最小二乘 (LS) | 遗传算法 (GA-NN) | MST-GA |
|---|---|---|---|
| 单像素求解时间 | ~0.8 ms | ~120 ms | ~210 ms |
| 边缘区域法向量稳定性 | 差（标准差0.15） | 中（标准差0.08） | 优（标准差0.03） |
| 对阴影区域鲁棒性 | 弱（常出现负n_z） | 强（约束dot(l,n)>=0） | 极强（+MRF平滑） |
| 内存占用 | 低（仅存L,I矩阵） | 高（需维护种群） | 最高（+MRF邻域计算） |
关键差异在问题建模：LS把每个像素当作独立问题，而GA把整张图的法向量场看作一个高维优化变量。GA-NN.ipynb中定义的适应度函数是：
def fitness_func(solution, solution_idx):
# solution 是一个长度为3的数组，代表当前个体的法向量n
n = solution.reshape(3,)
# 约束：n必须是单位向量
if not np.isclose(np.linalg.norm(n), 1.0, atol=1e-3):
return -1e6 # 严重惩罚
# 计算该像素在12张图下的预测亮度
pred_I = albedo * np.dot(lights, n) # albedo是单独估计的
# 适应度 = 负的均方误差（越小越好）
mse = np.mean((true_I - np.clip(pred_I, 0, 1)) ** 2)
return -mse
这里np.clip(pred_I, 0, 1)至关重要——它防止预测亮度超出物理范围（0-1），避免适应度函数给出虚假的“好解”。而MST-GA的进化操作更复杂：除了常规的选择、交叉、变异，每一代还会计算一个MRF能量 E_mrf = λ * sum(||n_i - n_j||^2)，其中j是i的4邻域像素，λ是平滑权重（实验报告里建议0.3~0.8）。这意味着，即使某个像素的局部亮度信息很弱，算法也会倾向于让它“随大流”，跟邻居保持一致，从而消灭孤立噪点。
3.3 深度积分：泊松方程求解的数值陷阱与绕过技巧
从法向量到深度，是重建中最“玄学”的一步。depth_to_mesh()函数内部调用scipy.sparse.linalg.spsolve(A, b)，其中A是巨大的稀疏拉普拉斯矩阵（尺寸为HW × HW），b是散度向量。这个过程慢且内存吃紧（1024x1024图像需要约8GB内存）。更致命的是边界漂移：即使法向量完美无缺，积分后的深度图也可能整体倾斜，导致猫模型看起来像被斜着切了一刀。原因在于泊松方程 ∇²z = ∇·v （v是-n_x/n_z, -n_y/n_z）的解不唯一，相差一个常数平面。工具包的解决方案是强制中心像素深度为0：
# 在构建线性系统前
center_idx = (height // 2) * width + (width // 2)
A[center_idx, :] = 0
A[center_idx, center_idx] = 1
b[center_idx] = 0
这相当于把坐标系原点钉在图像中心，所有深度值都是相对于中心点的相对高度。另一个常见问题是深度值溢出。由于数值积分累积误差，z值可能达到1e5级别，远超实际物体尺寸。main.ipynb在导出前做了安全缩放：
z_min, z_max = np.percentile(depth_map, [1, 99]) # 剔除1%极端噪声
depth_map = (depth_map - z_min) / (z_max - z_min) * 255 # 归一化到0-255显示
这步不仅是为了好看，更是为了后续网格生成时顶点坐标的数值稳定性——如果z坐标跨度太大，三角形面片可能会因浮点精度丢失而扭曲。
3.4 OBJ导出与纹理映射：为什么你的模型在Blender里是黑的？
cat.obj文件包含三类核心数据：v x y z（顶点）、vt u v（纹理坐标）、f v1/vt1 v2/vt2 v3/vt3（面片）。工具包默认导出的是无纹理模型，即vt行存在，但mtllib材质库引用为空。这意味着在Blender中打开时，模型会使用默认灰色材质，看起来“没质感”。要让它显示原始图像的纹理，你需要额外步骤：
1. 将12张cat.*.png中的一张（比如正面光照的cat.0.png）作为贴图；
2. 在Blender中选中模型，进入Shader Editor，添加Image Texture节点，加载该PNG；
3. 连接Texture Coordinate的UV输出到Image Texture的Vector输入；
4. 将Image Texture的Color输出连接到Principled BSDF的Base Color。
为什么工具包不直接导出带纹理的OBJ？因为光度立体法本身不恢复颜色信息，只恢复几何。所谓的“纹理坐标”，只是把图像像素位置映射到UV空间，方便你后期手动贴图。normal_vactor_cat.jpg和depth_cat.jpg是诊断用的中间产物：前者用RGB编码法向量（R=n_x, G=n_y, B=n_z），肉眼就能看出哪里方向异常（比如出现纯红区域，说明n_y和n_z几乎为0，表面近乎垂直）；后者用灰度表示深度，越亮表示越“高”，是检查积分质量的第一道关卡。
4. 实操过程与核心环节实现：手把手跑通全流程
4.1 环境搭建与路径避坑指南
第一步永远是最容易翻车的。不要跳过这节，我用血泪教训总结：
-
绝对使用纯英文路径：把压缩包解压到类似
C:\photometric_stereo\，而不是C:\我的项目\光度立体\。Windows系统对中文路径的支持在OpenCV和NumPy某些版本中极不稳定，cv2.imread()可能静默返回None，导致后续所有计算基于空数组，报错信息却是ValueError: operands could not be broadcast together，让你排查半天。 -
依赖安装的精确命令：
bash # 创建干净环境（推荐） conda create -n ps python=3.9 conda activate ps # 安装核心库（注意版本兼容性） pip install opencv-python==4.8.1.78 numpy==1.24.3 scipy==1.11.2 # 可视化库二选一（PyVista轻量，trimesh功能全） pip install pyvista==0.42.1 # 或 pip install trimesh==4.2.3 # Jupyter支持 pip install jupyter notebook
特别提醒：SciPy 1.12.x版本在某些Windows机器上与旧版NumPy冲突，降级到1.11.2是经过验证的稳定组合。requirements.txt里写的版本号，就是经过10次失败后确定的黄金搭配。 -
运行顺序铁律：
- 先打开main.ipynb，只运行前3个cell（加载图像、加载光源、检查尺寸），确认images和lights变量形状正确（images.shape=(12, height, width)，lights.shape=(12,3)）；
- 再运行GA-NN.ipynb，测试单像素优化是否收敛（观察fitness曲线是否平稳下降）；
- 最后回到main.ipynb，运行完整的estimate_normals_ga()和estimate_depth_poisson()。
切忌一开始就猛点“Run All”，因为GA优化耗时长，如果前面数据加载错了，你会白白等10分钟。
4.2 主流程代码详解：main.ipynb逐段解读
main.ipynb是整个项目的指挥中心，我们聚焦最关键的几个cell：
Cell 4：法向量估计主调用
# 选择求解器：'ls' for least squares, 'ga' for genetic algorithm
solver_type = 'ga'
if solver_type == 'ls':
normals = estimate_normals_ls(images, lights)
elif solver_type == 'ga':
# GA-NN.ipynb中定义的ga_estimate_normals函数
normals = ga_estimate_normals(images, lights,
population_size=50,
num_generations=100,
albedo_init=0.5)
print(f"Normals shape: {normals.shape}") # 应为 (height, width, 3)
这里solver_type开关让你无缝切换算法。population_size=50不是随便写的：太小（如20）容易早熟收敛到局部最优；太大（如200）内存爆炸。100代是经验值——在猫模型上，80代时fitness已趋稳，100代是保险冗余。
Cell 6：深度图生成与后处理
# 关键参数：泊松积分的正则化系数
lambda_poisson = 0.01
depth_map = estimate_depth_poisson(normals, lambda_poisson=lambda_poisson)
# 后处理：填充无效深度（n_z <= 0 的区域）
invalid_mask = normals[..., 2] <= 0.05 # n_z太小，不可靠
depth_map = cv2.inpaint(depth_map.astype(np.uint8),
invalid_mask.astype(np.uint8),
3, cv2.INPAINT_TELEA)
lambda_poisson=0.01是平衡“保真度”和“平滑度”的杠杆。值越大，深度图越平滑但细节越少；越小，细节越多但噪声越强。cv2.inpaint()用Telea算法修补n_z无效区域，比简单插值更自然。
Cell 8：OBJ导出与PyVista渲染
# 生成网格
mesh = depth_to_mesh(depth_map, spacing=(1.0, 1.0)) # 像素间距设为1单位
# PyVista渲染设置
p = pv.Plotter()
p.add_mesh(mesh, color='tan', show_edges=False)
p.camera_position = [(0, 0, 5), (0, 0, 0), (0, 1, 0)] # 正视图：位置、焦点、上方向
p.screenshot('正视图.png')
p.show()
spacing=(1.0, 1.0)意味着X和Y方向每像素代表1单位长度，Z方向会按实际深度值缩放。如果你想让模型在Blender中尺寸为10cm宽，就设spacing=(0.1, 0.1)（假设原始图像是100像素宽）。
4.3 遗传算法调参实录：实验报告PDF里的干货提炼
实验报告-遗传算法.pdf不是摆设，里面记录了我在Intel i7-11800H笔记本上的真实调参过程：
- 种群规模（Population Size）：测试了30/50/100。30代内收敛最快，但最终解精度差（深度RMSE 0.18）；50是平衡点（RMSE 0.12，耗时可接受）；100提升有限（RMSE 0.11）但耗时翻倍。
- 交叉概率（Crossover Rate）：0.7时探索能力强，但易破坏优良基因；0.9时收敛快但多样性不足；最终选定0.85，配合“精英保留”（Elitism）策略，每代保留前2个最优个体不参与变异。
- 变异率（Mutation Rate）：初始设0.1，发现后期进化停滞；改为自适应变异率：
mutation_rate = 0.1 * (1 - gen/num_generations)，前期高探索，后期高利用。 - 收敛判断：不只看平均fitness，更监控“最优fitness连续10代无提升”且“种群多样性（标准差）< 0.01”，双重保险。
报告里有一张图特别有用：横轴是进化代数，纵轴是猫鼻子尖端区域的深度标准差。LS曲线在50代后还在剧烈震荡，而GA曲线在30代就平直如线——这直观证明了GA的稳定性优势。
5. 常见问题与排查技巧实录：那些让你抓狂的报错，我都替你试过了
5.1 图像加载失败：cv2.imread()返回None
现象：运行load_images_and_light()后，images[0]是None，后续所有计算报TypeError: 'NoneType' object is not subscriptable。
排查步骤：
1. 检查文件路径：os.listdir('data/') 是否列出 cat.0.png 到 cat.11.png？注意大小写，Windows不敏感但Linux敏感；
2. 检查文件权限：右键cat.0.png -> 属性 -> “安全”选项卡，确认当前用户有读取权限；
3. 检查OpenCV版本：cv2.__version__ 是否≥4.5？旧版本对PNG透明通道支持差；
4. 终极方案：改用PIL加载，再转OpenCV：
python from PIL import Image import numpy as np img_pil = Image.open('data/cat.0.png').convert('L') # 强制灰度 img_cv2 = np.array(img_pil)
5.2 法向量求解崩溃：SVD未收敛或nan值
现象：estimate_normals_ls()报LinAlgError: SVD did not converge，或normals数组里出现nan。
根因与解法：
- 根因1：某张图全黑或全白。检查images[i].mean()，若<5或>250，说明曝光严重失误，剔除该图并重运行；
- 根因2：光源向量线性相关。用np.linalg.matrix_rank(lights)检查，若<3，重新标定光源；
- 根因3：图像尺寸不一致。np.stack(images).shape 应为 (12, H, W)，若为 (12,)，说明每张图尺寸不同，需用cv2.resize()统一。
5.3 深度图为全黑或全白
现象：depth_cat.jpg是一片死黑或死白，depth_map.min()和depth_map.max()几乎相等。
诊断命令：
print("Depth stats:", depth_map.min(), depth_map.max(), np.isnan(depth_map).sum())
print("Normals z-stats:", normals[...,2].min(), normals[...,2].max())
- 若
normals[...,2].max() < 0.1：说明法向量全指向侧面，光源标定方向全错（l向量应有z分量主导）； - 若
np.isnan(depth_map).sum() > 0：泊松求解失败，尝试减小lambda_poisson或换用scipy.sparse.linalg.cg()迭代求解器； - 若
depth_map全为0：检查estimate_depth_poisson()中是否忘了return z.reshape(height, width)。
5.4 OBJ模型在Blender中显示为“线框”或“破碎”
现象：导入cat.obj后，模型没有面片，只看到顶点连线。
原因与修复：
- 原因：OBJ文件中f面片索引从1开始，但某些导出器（尤其旧版）可能从0开始。用文本编辑器打开cat.obj，搜索f 1 2 3，确认索引是正整数；
- 修复：在depth_to_mesh()函数中，确保faces数组是np.int32类型，并且索引从1开始：
python faces = np.array([[i, i+1, i+width+1], [i+1, i+width+2, i+width+1]]) + 1
5.5 渲染图视角错乱：“俯视图”看起来像“侧视图”
现象：俯视图.png里猫是平躺着的，但预期是鸟瞰。
定位：检查main.ipynb中p.camera_position的设置。标准俯视图应为：
p.camera_position = [(0, 5, 0), (0, 0, 0), (0, 0, 1)] # 位置(0,5,0), 焦点(0,0,0), 上方向(0,0,1)
其中第二个元组是焦点（look_at），必须是(0,0,0)即模型中心；第三个是上方向（up vector），俯视图必须是(0,0,1)（Z轴向上），若误写为(0,1,0)（Y轴向上），就会变成侧视。
6. 扩展应用与二次开发指南：不止于猫模型
这个工具包的价值，远不止于复现一个猫的OBJ。它的模块化设计，让你能轻松迁移到自己的项目：
6.1 替换你的数据：三步搞定新物体重建
- 拍摄：用固定相机，对准物体，用12个不同方向的LED灯（或手电筒）依次打光，拍12张图。关键：每次只开一个灯，关闭环境光，用三脚架稳住相机，用遥控快门防抖。
- 标定：用一个哑光白球放在同一位置，拍12张球图。用
image_operations.py里的calibrate_light_directions(ball_images)函数，自动计算光源方向并写入light.txt。 - 运行：把你的12张图重命名为
cat.0.png到cat.11.png（或修改main.ipynb中image_pattern变量），然后按4.1节流程运行。
我用这套方法重建过一枚古钱币，难点在于钱币表面有复杂纹路和氧化斑。最小二乘结果在文字边缘全是噪点，切换到MST-GA后，纹路清晰度提升3倍——因为MRF项强制相邻像素法向量协同变化，把“文字是凸起”这个先验编码进了优化过程。
6.2 算法升级：接入你的优化器
Photometric_Stereo.py定义了清晰的接口：
def estimate_normals(images: np.ndarray,
lights: np.ndarray,
method: str = 'ls',
**kwargs) -> np.ndarray:
"""
统一入口函数
:param images: (N, H, W) 灰度图像堆叠
:param lights: (N, 3) 光源方向单位向量
:param method: 'ls', 'ga', 'mst_ga'
:return: (H, W, 3) 法向量场
"""
if method == 'ls':
return estimate_normals_ls(images, lights)
elif method == 'ga':
return ga_estimate_normals(images, lights, **kwargs)
# ...
你想试试PyTorch的Adam优化器？只需新建torch_optimizer.py，实现同签名函数，然后在main.ipynb里把method='torch'即可。工具包的设计哲学是：物理模型固定，优化框架可插拔。
6.3 工业级增强：加入镜面反射模型
Lambertian模型对哑光物体效果好，但对金属、塑料等镜面物体就乏力。Photometric_Stereo.py里预留了扩展接口：
def estimate_normals_phong(images, lights, rho_d, rho_s, alpha):
"""
Phong反射模型：I = rho_d*(l·n) + rho_s*(r·v)^alpha
r是反射向量，v是视线向量（此处设为[0,0,1]）
"""
# 实现略，但框架已搭好
只需填入你的镜面参数，就能解锁新场景。这也是为什么项目包含GA-NN.ipynb——神经网络可以联合学习ρ_d、ρ_s、α和n，比手工调参更强大。
最后分享一个小技巧：重建完成后，别急着导出OBJ。用PyVista加载cat.obj，开启p.enable_eye_dome_lighting()，开启眼部穹顶光照，你会发现猫毛的细微起伏突然变得立体——这不是魔法，是光度立体法赋予模型的真实几何，只是需要正确的光照才能显现。这个工具包，本质上是一把用光雕刻三维世界的刻刀，而你，就是执刀人。
简介：用几张不同打光角度下的物体灰度图，就能还原出它的三维表面细节。这个工具包用Python实现光度立体法全流程：先标定光源方向，再拟合法向量场，接着通过泊松积分算出深度图，最后生成带纹理坐标的OBJ网格模型。附带猫模型的12张原始输入图（cat.0.png到cat.11.png），以及对应的法向量图、深度图、.npy数组文件和渲染效果图（正视、俯视、左视等）。GA-NN.ipynb和MST-GA.ipynb两个脚本展示了遗传算法如何优化法向量求解过程，main.ipynb是完整流程入口。所有代码都有中文注释，关键步骤如反射模型拟合、光照方向校准、深度积分、网格构建都清晰可读。配套实验报告PDF详细说明了遗传算法的参数设置、收敛表现和对比结果，还有光度立体流程图和遗传算法示意图辅助理解。支持直接运行，依赖库为Python 3.x、OpenCV、NumPy、SciPy、PyVista或trimesh，建议解压到纯英文路径避免编码错误。
88
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
