关于把图像中pixel投影到3d点云，附着在dsm模型上的任务

原创已于 2025-02-11 14:21:01 修改 · 660 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#3d

于 2025-02-11 08:58:00 首次发布

目标是将图像的像素信息映射到三维点云上，然后将这些信息附着到数字表面模型（DSM）上。下面是一个粗略的解决方案：

1. 加载DSM和光学图像

使用rasterio来读取提供的DSM和图像（.tif格式），以及相机的RPC参数。

import rasterio
import numpy as np
import json

# 读取DSM
with rasterio.open('dsm_model.tif') as dsm:
    dsm_data = dsm.read(1)  # 获取DSM数据，通常是地面高程数据

# 读取光学图像
with rasterio.open('optical_image.tif') as img:
    img_data = img.read(1)  # 获取光学图像数据

2. 加载相机参数（RPC）

读取存储在JSON文件中的相机参数，包括行列偏移、比例因子以及地理坐标的转换矩阵等。

# 读取相机参数JSON文件
with open('camera_params.json', 'r') as f:
    camera_params = json.load(f)

rpc = camera_params['rpc']  # 获取RPC相关参数

3. 计算像素到地理坐标的投影

使用RPC模型将图像中的每个像素坐标（行列坐标）映射到地理坐标系统中。RPC是通过行列和地理坐标（经纬度、高程）之间的多项式关系进行转换的。

RPC的模型参数包括row_num、col_num、row_den、col_den等，它们可以计算出每个像素在地理坐标系中的位置。可以根据这些参数实现反向投影：

def rpc_projection(row, col, rpc):
    """
    使用RPC参数将图像中的(row, col)像素投影到地理坐标系中。
    """
    row_offset, col_offset, lat_offset, lon_offset, alt_offset = (
        rpc['row_offset'], rpc['col_offset'], rpc['lat_offset'], 
        rpc['lon_offset'], rpc['alt_offset']
    )
    
    row_scale, col_scale, lat_scale, lon_scale, alt_scale = (
        rpc['row_scale'], rpc['col_scale'], rpc['lat_scale'],
        rpc['lon_scale'], rpc['alt_scale']
    )

    # 通过RPC公式计算地理坐标
    lat = lat_offset + row_scale * (row - row_offset)
    lon = lon_offset + col_scale * (col - col_offset)
    alt = alt_offset + alt_scale * (row - row_offset)  # 假设altitude以行变化

    return lat, lon, alt

# 计算像素对应的地理坐标
lat, lon, alt = rpc_projection(row=100, col=150, rpc=rpc)  # 假设我们计算(100,150)像素

4. 从DSM模型获取高度信息

DSM已经包含了每个位置的高程信息，可以从DSM中获取每个像素位置的高度数据。在得到像素对应的地理坐标后，获取DSM上该点的高度并将其作为Z值。

# 使用地理坐标查找DSM上的高程
def get_dsm_height(lat, lon, dsm, img):
    """根据经纬度从DSM获取高程"""
    # 假设你有一个函数将经纬度转换为图像的行列坐标
    row, col = latlon_to_pixel(lat, lon, img)  # 需要实现此函数
    return dsm[int(row), int(col)]  # 返回DSM对应位置的高度值

# 获取DSM高度
height = get_dsm_height(lat, lon, dsm_data, img)

5. 映射像素到3D点云

使用从RPC和DSM得到的地理坐标和高度信息，构建出三维点云。每个像素点在三维空间中都有一个位置 (lon, lat, height)。

def map_pixel_to_3d(row, col, rpc, dsm, img):
    # 获取像素对应的地理坐标
    lat, lon, _ = rpc_projection(row, col, rpc)
    # 获取DSM中的高度
    height = get_dsm_height(lat, lon, dsm, img)
    return lat, lon, height

# 假设我们遍历图像中的所有像素，并将其映射到3D
points = []
for row in range(img_data.shape[0]):
    for col in range(img_data.shape[1]):
        lat, lon, height = map_pixel_to_3d(row, col, rpc, dsm_data, img)
        points.append((lat, lon, height))

6. 将光学图像附着到3D点云

最后，将光学图像的像素附着到这些三维点云上。可以使用像素的灰度值或颜色值作为纹理映射到对应的三维点上。

def attach_texture_to_point_cloud(points, img_data):
    # 将光学图像的颜色值附加到3D点云
    textured_points = []
    for i, (lat, lon, height) in enumerate(points):
        color = img_data[int(lat), int(lon)]  # 假设color是图像的颜色值
        textured_points.append((lat, lon, height, color))
    return textured_points

# 附加纹理到点云
textured_points = attach_texture_to_point_cloud(points, img_data)

7. 可视化点云

使用点云库（如Open3D）进行可视化，显示附着纹理的三维点云。

import open3d as o3d

# 创建Open3D点云对象
pcd = o3d.geometry.PointCloud()

# 将点云数据添加到点云对象
points = np.array([point[:3] for point in textured_points])
colors = np.array([point[3] for point in textured_points])  # 获取纹理颜色信息
pcd.points = o3d.utility.Vector3dVector(points)
pcd.colors = o3d.utility.Vector3dVector(colors)

# 可视化点云
o3d.visualization.draw_geometries([pcd])