qq_24505417的博客

项目内容：三维模型目标信息提取。项目过程：1. 倾斜影像重建出三维模型，2. 通过图像处理得到目标信息，3. 将目标信息反投影到三维模型上， 4.利用空间信息融合多视角结果，得到完整的单体目标。投影过程中的遮挡处理：实施路线：将三角形投影到平面图像上，保留属于前景的三角形。1. 判断三角形面片朝向：原理：可视三角形，其法向量必然朝向摄影中心。步骤细节：a 根据三角形坐标计算单位法向量；b. 计算三角形中心到摄影中心（指向摄影中心）的单位法向量c. 计算二者夹角，若小于90度（

最近邻采样反卷积f_decoder_list = [] for j in range(self.config.num_layers): f_interp_i = self.nearest_interpolation(feature, inputs['interp_idx'][-j - 1]) f_decoder_i = helper_tf_util.conv2d_transpose(tf.concat([f_encoder_list[-j - 2], f_i

显卡: NVIDA TITAN Xp训练次数: 100个epoch, 每个epoch 500 steps, batch_size ==4learning_rate: 1e-2optimizer: Adam训练时间: 8h训练模型:只有下一个epoch的训练结果(Mean IoU)好于当前epoch,才会保存模型训练结果.38501/500 ~= 77 (epoch 从0开始计数)最有epoch所对应的训练日志:****EPOCH 76****Step 0003.

LFA模块LFA模块应用于encode 网络中,整个网络包含encode,decode 和头部.

对于大场景点云数据来说, 人为切割会破坏物体原本的几何形状,因此RandLA-Net采用随机采样的方式,从概率最小的点开始,选取周边一定范围的点集1.预处理对原始数据进行网格采样:包括0.01降采样和0.06降采样. 将每个立方体内的点做均值，并统计该立方体内的每个类别的数量，将占比最大的类别作为采样后的类别.采样:# Subsample to save spacesub_points, sub_colors, sub_labels = DP.grid_sub_samplin...

大场景三维点云语义分割模型https://blog.youkuaiyun.com/qq_43232556/article/details/106739355?utm_medium=distribute.pc_relevant.none-task-blog-title-4&spm=1001.2101.3001.4242目录： SqueezeSeg系列：投影到2D前视图（球面投影），进行2D卷积（SqueezeNet + CRF) Pointseg:FCN + 多尺度atrous conv+

GVCNN: Group-View Convolutional Neural Networks for 3D Shape Recognition CVPR2018和MVCNN一样，基于多视图对三维物体进行识别分类的网络结构。GVCNN的核心思路是：对不同视角的特征进行区分度打分，落在同一得分区间的划分到同一组，同时给每组生成一个权重，用于加权聚合得到最终特征。分值用sigmoid限制在0~1范围内，然后事先将（0，1）区间划分成M个组。感觉想法可以，但很难学习到分组信息。网络整体结构：.

VoxelNet: End-to-End Learning for Point Cloud Based 3D Object DetectionVoxelNet端到端的3D目标检测网络，且仅使用3D LIDAR 点云数据就可以得到很好的精度。网络结构包含三个过程：1. Feature learning network构造3D 网格，对输入的点云数据栅格化。整个点云的大立方体的深度、高度和宽度分别为 (D,H,W)，每个体素的深高宽为 ( d , h , w ) ，各个坐标上生成的体..

MV3D：Multi-View 3D Object Detection Network for Autonomous DrivingAVOD：Joint 3D Proposal Generation and Object Detection from View Aggregation代表1：MV3D代表2：AVOD

PointRCNNPointPainting代表1：PointRCNN代表2：PointPaintingPointPainting: Sequential Fusion for 3D Object Detection

任务二：点云目标分割(3D object detection) 和二维图像目标检测一样，分为two-stage methods( 基于目标候选区)和single-shot methods(直接回归目标框)。主要研究Two-stage methods， 包括三类：1）BEV-based methods: 在二维鸟瞰图，正视图，侧视图三个方位提取特征，然后聚合这些特征用于目标定位，默认z轴竖直向上。2）Segmentation-based methods:先分割，再聚类。先给每个点赋类别，然...

任务三：点云语义分割 (3D point cloud semantic segmentation)

基于数据索引的方法

图卷积

PointNet++：使用set abstraction结构逐层提取特征，采样后的点融合了邻域点的特征信息，同时每次采样只保留一半的点云，后续网络层的感受野逐渐扩大，最后通过聚合函数得到紧密的全局点云特征表示。Set abstraction 包括 sampling，grouping 和PointNet三部分：1）sampling：对输入点云进行采样，只保留部分点进入下一层网络。采样数一般是输入点云总数量的一半， 采样算法是Farthest point...

点云处理——离散卷积Pointwise CNNPointCNN卷积核权重不是分配给点云，而是分配给网格，落在同一网格中的点获得相同的权重。代表1： Pointwise CNN卷积核在整个点云空间滑动，逐点进行卷积。对于落在同一格子的点，取他们的平均值与w相乘。关键在于如何分配w。上图把中心点附近的区域分成栅格，每个栅格内的特征先取平均，然后再乘以栅格内的卷积权重，得到一个栅格的特征。多个栅格的特征相加得到新的特征。代表2：PointCNN（山东大学...

点云处理——连续卷积RS CNN在连续空间中定义卷积核，相邻点的权重与相对于中心点的空间分布有关（权重由MLP学习得到）。即邻域子集点的加权和。代表1：Relation-shape CNN (RS CNN, CVPR2019)：RS CNN的核心操作是RS-Conv，它借鉴graph attention networks的思想，利用MLP学习邻域点集的权重w，并将学习到的权重与邻域点集的特征进行对应元素相乘。最后通过聚合函数得出采样点特征。输入到MLP的特征是邻域点与采样中心点的欧氏距离（坐

阅读的文献是国防科技大学的一篇综述：Guo Y , Wang H , Hu Q , et al. Deep Learning for 3D Point Clouds: A Survey[J]. 2019.根据自己的情况选择了以下四个方向进行研读。任务一：点云形状分类(3D shape classification)任务二：点云目标分割(3D object detection)任务三：点云语义分割 (3D point cloud semantic segmentation)任务四：点云实例