从像素到3D高斯:拆解MVSplat如何用CNN+Transformer生成动态场景的Splatting模型

DGGT:无需标定的实时4D高斯重建技术 4D高斯重建是自动驾驶感知升级的关键路径,其核心在于将动态场景建模为时空一致、可编辑的显式几何表示。传统方法依赖精确相机标定与迭代优化,导致鲁棒性差、部署成本高;而DGGT通过Pose-Free位姿预测与Feed-Forward六头并行架构,首次实现端到端、单次前向传播的4D世界建模。该技术融合ViT-DINO全局几何先验与单步扩散精修,在保持0.4秒实时性的同时,显著提升LPIPS与EPE3D等物理可解释指标。适用于仿真生成、规控验证与数据闭环等量产级场景,尤其解决多传感器适配难、动态物体建模弱、编辑能力 阅读详情

从像素到3D高斯:拆解MVSplat如何用CNN+Transformer生成动态场景的Splatting模型

在计算机视觉与图形学的交叉领域,新视图合成一直是一个充满挑战又极具魅力的方向。想象一下,你手头只有几张从不同角度拍摄的静态照片,却需要生成一个可以自由漫步、从任意视角观察的3D场景。这听起来像是魔法,但近年来,以3D Gaussian Splatting为代表的技术正让这种魔法一步步变为现实。然而,传统的3DGS方法通常需要大量、精确的相机位姿和较长的优化时间,限制了其在动态、快速场景构建中的应用。这时,MVSplat的出现,为我们提供了一条全新的思路:它巧妙地将经典的多视图立体视觉技术与前沿的Transformer架构相结合,直接从稀疏的输入图像中,实时预测出用于渲染的3D高斯属性。这篇文章,我将带你深入MVSplat的内部,像拆解一台精密的仪器一样,一步步看清它是如何将二维的像素信息,转化为绚丽的三维高斯“喷溅”模型的。无论你是刚接触3D重建的初学者,还是希望了解最新技术动向的开发者,相信这篇结合了原理图解与代码解析的深度拆解,都能让你有所收获。

1. 核心思想:为何是CNN与Transformer的联姻?

在深入技术细节之前,我们首先要理解MVSplat解决的核心问题是什么。传统的3D Gaussian Splatting流程,可以看作是一个“优化”问题:给定一组图像和相机参数,通过可微分渲染不断迭代调整每个3D高斯椭球的位置、形状、颜色和透明度,直到其渲染出的图像与真实输入图像尽可能相似。这个过程虽然质量很高,但通常耗时较长。

MVSplat则另辟蹊径,它想做的是一次性“预测”。其核心思想是:利用已知的多视图图像及其相机参数,通过一个强大的神经网络,直接推理出整个3D场景的高斯表示。这就像是一个经验丰富的雕塑家,看了几张照片就能在脑中构建出完整的立体模型,并立刻用粘土(3D高斯)塑造出来。为了实现这个目标,MVSplat的设计者选择了CNN与Transformer的组合拳。

  • CNN(卷积神经网络):担任“局部特征侦探”的角色。它的强项在于提取图像的局部细节和纹理特征。对于图像中的边缘、角点、纹理模式,CNN能高效地捕捉并编码成高维特征图。在MVSplat中,一个CNN编码器首先对每张输入图像进行下采样,提取出稠密的图像特征。这些特征是后续所有3D推理的基石。
  • Transformer:担任“全局关系推理官”的角色。仅靠单张图的局部特征不足以确定深度和3D结构。Transformer通过其自注意力机制,能够分析同一图像内不同区域的关系,更重要的是,它能跨视图建立特征之间的对应关系。例如,判断左视图中的某个窗户特征,对应到右视图中的哪个位置,这种跨视图的匹配是恢复3D几何的关键。

MVSplat的创新之处在于,它没有简单地将CNN特征直接送入后续模块,而是先用Transformer对这些特征进行了一次“增强融合”。具体流程是:CNN提取的特征被添加上位置编码后,送入一个Transformer编码器(论文中采用了Swin Transformer的变体)。这个Transformer块会融合来自同一场景不同视图的特征信息,输出一个既包含丰富局部细节,又蕴含了跨视图几何关联的增强特征。我们可以把这个过程想象成让多个视角的特征图在一起“开会讨论”,共同推演出一个更准确的3D场景理解。

提示:这里使用的Transformer与早期版本MVSplat中测试的Epipolar Transformer有所不同。Epipolar Transformer严格遵循极线几何进行注意力计算,计算更精准但可能更耗时;而Swin Transformer采用窗口注意力,效率更高,实验表明在MVSplat的框架下取得了更好的平衡。

2. 深度估计的基石:Cost Volume的构建与优化

有了经过Transformer增强的多视图特征,下一步就是要恢复场景的几何——也就是深度。MVSplat借鉴了经典多视图立体视觉的思想,通过构建代价体积来实现这一目标。

2.1 从特征到3D空间采样

首先,系统会在一个合理的深度范围内(由near和far参数定义)均匀采样一系列深度假设。例如,采样128个深度平面。对于参考图像(比如视角0)上的每一个像素,我们都有128个可能的深度值。

关键操作来了:对于另一个视角(比如视角1)的特征图,我们需要将这些特征“投影”到参考视角的每一个深度假设平面上。这个过程称为可微分扭曲。

# 伪代码示意:特征投影与代价计算
# feat10: 来自视角1的特征图
# pose_curr: 从视角1到视角0的相机变换矩阵
# disp_candi_curr: 采样的视差(深度的倒数)候选值

# 将视角1的特征根据每个深度假设投影到视角0
feat01_warped = warp_with_pose_depth_candidates(
    feat10, 
    intrinsics, 
    pose_curr, 
    1.0 / disp_candi_curr, 
    warp_padding_mode="zeros"
) # 输出形状: [Batch, Channels, Depth_Candidates, Height, Width]

这段代码执行后,我们得到了一个5D张量:对于参考图像上的每个空间位置(H, W),以及每个深度候选D,都有一个从视角1投影过来的特征向量。

2.2 计算匹配代价

接下来,计算匹配代价。直观理解是:如果某个深度假设是正确的,那么从视角1投影过来的特征,应该和参考视角(视角0)该位置本身的特征非常相似。因此,MVSplat计算两者的点积(一种相似性度量)作为初始代价。

# feat01: 参考视角(视角0)的原始特征图
# feat01_warped: 从视角1投影过来的特征体积
raw_correlation = (feat01.unsqueeze(2) * feat01_warped).sum(dim=1) / (c**0.5)
# raw_correlation形状: [Batch, Depth_Candidates, Height, Width]

这里对通道维度求和并归一化,得到了一个4D的代价体积,其每个元素(b, d, h, w)代表了在(h,w)位置、深度假设d下的匹配置信度。

2.3 代价体积正则化与深度预测

初始的代价体积通常很嘈杂。MVSplat使用一个轻量级的2D U-Net网络对这个代价体积进行“正则化”或“优化”。这个U-Net沿着空间维度(H,W)和深度维度D进行卷积,平滑噪声并聚合上下文信息。

经过U-Net处理后,沿着深度维度D应用Softmax函数,将代价转换为一个概率分布——我们称之为深度概率体积。

pdf = F.softmax(self.depth_head_lowres(raw_correlation), dim=1)
# pdf形状: [Batch, Depth_Candidates, Height, Width]

这个pdf张量中,数值最大的那个深度候选,就是网络认为最有可能的深度。最终的深度图可以通过期望值(加权平均)得到:

coarse_depth = (depth_candidates * pdf).sum(dim=1, keepdim=True)

得到的coarse_depth是特征图分辨率下的深度预测。为了得到全分辨率的深度图,会先将其上采样,再通过另一个Refine U-Net(输入包含上采样深度、原始图像、投影特征等)预测一个深度残差,进行精细调整。

fullres_depth = F.interpolate(coarse_depth, scale_factor=4, mode='bilinear')
refine_feature = self.refine_unet(torch.cat([images, proj_feature, fullres_depth, pdf_max], dim=1))
delta_depth = ... # 从refine_feature中解码
fine_depth = (fullres_depth + delta_depth).clamp(near, far)

至此,我们得到了一个高质量、全分辨率的深度图。这张图不仅本身有价值,更是接下来生成3D高斯属性的关键几何约束。

3. 3D高斯属性的解码:从深度与特征到可渲染的椭球

有了深度图和融合后的特征,MVSplat的下一个任务是将这些2.5D信息“提升”为完整的3D高斯表示。一个3D高斯椭球主要由以下几个属性定义:

  1. 中心点:椭球在3D空间中的位置。
  2. 协方差矩阵:决定了椭球的形状(缩放)和方向(旋转)。
  3. 球谐函数系数:控制椭球的外观颜色,使其随视角变化。
  4. 不透明度:椭球的透明程度。

MVSplat通过一个名为to_gaussians的预测头(通常是一个简单的CNN)来一次性预测所有这些属性。这个预测头的输入是多种信息的拼接:

输入特征来源作用
refine_out深度优化U-Net的输出特征包含丰富的几何与上下文信息
images原始RGB图像提供颜色和纹理信息
proj_feat_in_fullres上采样后的Transformer/CNN融合特征提供跨视图的语义和几何关联

将这些特征在通道维度拼接后,送入预测头,输出一个形状为[B, 84, H, W]的raw_gaussians张量。这里的84个通道被分配给不同的高斯属性。下面我们拆解每个属性是如何解码的。

3.1 中心点预测:从像素光线到3D坐标

中心点的预测是最直观的,它紧密依赖于我们之前估计的深度图。对于图像上的每个像素(u, v):

  1. 根据相机内参,可以反投影出一条从相机光心穿过该像素的3D射线。
  2. 沿着这条射线,根据预测的深度值depth,就能确定一个3D点:P_cam = depth * ray_direction。
  3. 这个点是在相机坐标系下的。最后,通过相机外参(世界到相机的变换矩阵的逆),将其转换到世界坐标系:P_world = extrinsics^{-1} * P_cam。

但这里有个精妙的细节:像素中心不一定对应光线最准确的位置。因此,MVSplat还从raw_gaussians的前两个通道预测了一个2D的偏移量offset_xy。

# 伪代码:中心点计算
# xy_ray: 归一化图像平面上的像素坐标 (范围[-1, 1])
# offset_xy: 从网络预测并经过sigmoid,范围[0,1]
offset_xy = gaussians[..., :2].sigmoid()
pixel_size = 1.0 / torch.tensor([width, height], device=device)
# 将偏移量归一化到像素尺度并调整中心
xy_ray_adjusted = xy_ray + (offset_xy - 0.5) * pixel_size
# 计算相机坐标系下的3D点
means_cam = origins + directions * depths[..., None]
# 转换到世界坐标系
means_world = transform_points(means_cam, extrinsics_inv)

这个微小的偏移量让网络有能力对中心点位置进行亚像素级的微调,提升了重建的精度。

3.2 缩放与旋转:构建协方差矩阵

3D高斯的形状由协方差矩阵Σ定义。在MVSplat中,它通过预测缩放向量S(3个值,对应XYZ轴缩放)和旋转四元数R(4个值)来构造。

  • 缩放:从raw_gaussians中取出对应的通道,经过sigmoid激活并映射到一个预设的最小最大值区间[scale_min, scale_max]。但这里有一个重要的物理约束:物体越远,它在图像平面上投影的大小应该越小。因此,预测的缩放需要乘以深度值depth进行调制。此外,还会乘以一个与相机内参和图像分辨率相关的multiplier,确保缩放为1的高斯在图像空间中大约对应1个像素的大小,这使得初始化更加合理。
    scales_raw = gaussians[..., 2:5] # 假设第2-4通道是缩放
    scales = scale_min + (scale_max - scale_min) * scales_raw.sigmoid()
    scales = scales * depths[..., None] * multiplier[..., None]
    
  • 旋转:从raw_gaussians中取出接下来的4个通道作为四元数,并对其进行归一化以确保其表示一个有效的旋转。
    rotations_raw = gaussians[..., 5:9] # 假设第5-8通道是旋转
    rotations = rotations_raw / (rotations_raw.norm(dim=-1, keepdim=True) + eps)
    

有了归一化的四元数R和缩放向量S,就可以构建相机坐标系下的协方差矩阵Σ_cam。通常,假设高斯初始是轴对齐的,其协方差是一个对角矩阵diag(S^2),然后通过旋转矩阵R进行旋转:Σ_cam = R * diag(S^2) * R^T。

最后,一个关键的坐标系转换:这个协方差矩阵是在相机局部坐标系下定义的。为了在世界坐标系下进行渲染,需要利用相机的外参旋转矩阵R_c2w进行变换:

covariances_world = R_c2w @ Σ_cam @ R_c2w.transpose(-1, -2)

3.3 球谐系数与不透明度

  • 球谐系数:用于建模视角相关的颜色。raw_gaussians中剩余的通道(例如75个通道,对应3阶球谐的3个颜色通道)被分配给球谐系数。这些系数最初也是在相机坐标系下预测的,同样需要利用R_c2w旋转到世界坐标系,以确保颜色随世界空间中的视角正确变化。
  • 不透明度:其预测路径略有不同。不透明度由前面构建代价体积时得到的refine_out特征图,经过一个单独的卷积层预测得到density(密度),再通过一个特定的S形变换函数转换为最终的不透明度opacity。这个函数被设计为鼓励稀疏化,使得大部分区域的不透明度接近0或1,而不是模糊的中间值,这有助于生成清晰的高斯分布。

4. 训练、推理与实战中的关键细节

理解了前向预测流程后,我们来看看MVSplat是如何被训练和应用的,这其中有不少工程上的技巧值得注意。

4.1 训练策略与损失函数

MVSplat采用端到端的训练方式。给定一个场景的多视图图像作为输入,网络预测出3D高斯集合,然后在目标视角(训练时通常是已知的输入视角之一)上进行可微分渲染,得到预测图像。损失函数直接比较预测图像与真实目标图像。

常用的损失组合包括:

  • L1或L2像素损失:保证颜色的一致性。
  • 结构相似性损失:如SSIM或D-SSIM,更好地感知图像结构。
  • 感知损失:利用预训练网络(如VGG)的特征图差异,保持高级语义一致性。

通过反向传播,梯度会流经可微分渲染器,一直回溯到CNN和Transformer的参数,以及深度预测网络,迫使整个系统学会从图像中预测出能正确渲染的3D高斯。

4.2 数据准备与Pose归一化

数据预处理对MVSplat的性能至关重要。原始文章中提到,相机位姿的归一化是一个关键步骤。理想情况下,希望场景的平移分量被归一化到[-1, 1]的范围内。这有助于网络训练更加稳定,因为网络不必去适应尺度差异巨大的不同场景。

然而,这里存在一个权衡。在单个场景上训练时,进行位姿归一化通常能获得更好的过拟合效果。但在追求模型泛化能力(即在未见过的场景上也能工作)时,如果每个训练场景都用自己的尺度进行归一化,那么在推理新场景时,由于尺度不一致,可能会导致渲染结果出现明显的偏移。因此,在像KITTI-360这样用于泛化评估的数据集上,有时会选择不使用位姿归一化,而是直接使用数据集提供的原始度量位姿,并相应调整深度范围参数(near和far)。

4.3 从预测到渲染:完整的流水线

让我们串联起整个流程,看看一个完整的MVSplat推理步骤:

  1. 输入:一个场景的N张图像及其对应的相机内参和外参。
  2. 特征提取与融合:
    • 每张图像分别通过CNN编码器,得到局部特征图。
    • 所有视图的特征图加上位置编码后,送入Transformer进行跨视图特征融合与增强。
  3. 深度估计:
    • 以前一视图为参考,构建特征代价体积。
    • 通过U-Net正则化代价体积,并沿深度维度Softmax得到深度概率分布。
    • 计算期望深度,上采样并通过Refine网络优化,得到最终深度图。
  4. 3D高斯属性预测:
    • 将深度图、Refine特征、原始图像、融合特征拼接。
    • 通过to_gaussians预测头,解码出每个像素对应的3D高斯的中心、缩放、旋转、球谐系数和不透明度。
    • 将所有属性从相机坐标系转换到世界坐标系。
  5. 输出与渲染:得到一组3D高斯椭球(通常数量等于图像像素数)。这些高斯可以直接导入标准的3D Gaussian Splatting渲染器(如官方Viewer或社区实现的Web渲染器)进行实时、高质量的渲染。

我在尝试复现和实验时发现,深度预测的准确性是整个流程的瓶颈。如果MVS(多视图立体)模块估计的深度有较大偏差,后续生成的高斯位置就会出错,导致渲染模糊或错位。因此,仔细调整深度采样范围near/far,以及使用更强大的特征提取与匹配网络,是提升最终效果最直接的途径。MVSplat为我们提供了一个强大而灵活的框架,将深度学习和传统几何视觉紧密结合,为实时神经渲染开辟了新的可能性。它的价值不仅在于其性能,更在于这种“预测而非优化”的范式,让我们看到了在移动设备或VR/AR中实时生成高质量3D内容的曙光。

《图像处理与计算机视觉》全套课件PDF(武汉工程大学) 获取 《图像处理与计算机视觉》全套课件PDF(武汉工程大学)::https://download.youkuaiyun.com/download/m0_54748666/93260852。《图像处理与计算机视觉》全套课件PDF(武汉工程大学)第二讲-图像及其表达与性质.pdf。第五讲-图像形态学变换.pdf。第四讲-图像数据压缩.pdf。第三讲-图像预处理.pdf。第六讲-图像分割.pdf。第七讲-目标识别.pdf。第一讲-导论.pdf。 阅读详情

相关推荐

VSCode 降低适用版本并且关闭自动更新

官方表示,提高了远程服务器构建工具链的最低要求,更新了对 glibc 的要求,需要最低2.28版本。最快的方法是把vs code的版本降到1.85(为什么是这个版本呢?打开VS Code的官方网站(https://code.visualstudio.com/)通过查看可以知道,具体的版本没有直接显示分类,他是根据发布日期来分类的同时和版本匹配。在网站的顶部导航栏中找到”Updates”按钮,点击进入下载页面。找了半天一直没发现,原来就在紧挨着的下面。远程主机不满足运行vs code服务器的先决条件。

Sunflower的博客 9587

目标检测 16 道高频思考题全解——从 Faster R-CNN 到 YOLO v1 的复习手册

无论哪个版本,loss、输出形状、一次前向都只反映训练/前向过程,真正衡量检测好坏仍要靠独立验证集上的 Precision、Recall、AP、mAP——这是模型"检得准不准"的唯一可靠口径。随机初始化的 RPN 可能没提出与真实实例 IoU 达标(≥0.5)的正 RoI,那么即使图像里有有效 mask,这个 batch 也没有可用的正样本 RoI,loss 自然为 0。课程项目用的是 7×7 网格。把"在哪里"和"是什么"分开,每个候选区域都能拿到充分的特征计算资源做精细分类与回归,精度天花板更高。

anew___的博客 283

电流采样电路设计:差分放大与ADC采集详解

在电机控制、电源管理、电池监测等应用中,电流采样是一个关键环节。通常,我们使用小阻值的采样电阻将电流信号转换为电压信号,再通过运放放大后送入ADC进行采集。本文将详细分析一种基于差分放大器的电流采样电路,包括信号放大、参考电压偏置、滤波保护以及ADC转换计算等内容。

W0s477的博客 2万+

料箱抓取中的背面点:按面板读懂一张坐标可视化

料箱抓取画面里的背面点,是 HccePose(BF) 根据已知物体的 RGB 外观预测出的模型表面坐标。读图时把正面坐标、背面坐标和最后的位姿投影沿着同一个物体对照,才能看出各个中间结果在表达什么。

weixin_42605076的博客 351

电子货架标签应用浅析(ESL)

​【 关注与分享,是对原创最大的鼓励 】 年底了,会断续介绍几个主要的BLE的应用及市场情况,这篇文章介绍的是电子货架标签, ESL (Electronic Shelf Label)。 文章将从应用简介,市场规模,产业链,头部玩家及系统框架进行介绍。只对技术感兴趣的可以直接拉到底。 ESL简介 ESL,是一种显示产品,其主要是替代传统的纸质标签,应用于大型商超,...

iotthings的博客 4695

CH455G数码管驱动与键盘扫描:I2C通信协议深度解析与实战代码

本文深度解析CH455G芯片的I2C通信协议,涵盖数码管驱动与键盘扫描功能的实战应用。通过详细讲解起始/停止信号、数据帧结构、应答机制及单片机代码实现,帮助开发者高效利用该芯片减少IO占用,提升嵌入式系统设计效率。

tea88的博客 1085

目标检测上机实战手册——四套环境、COCO 数据坑与训练闭环验证全清单

跑目标检测项目,难的不是"看懂原理",而是"跑通并确认它真的跑对了"。这份手册把 Faster R-CNN、Mask R-CNN、YOLO v3、YOLO v1 四个上机项目里所有工程层面的坑一次性整理出来:环境怎么隔离、COCO 标注怎么转、训练一 batch 到底在验证什么、哪些数字能看哪些不能信。

anew___的博客 180

塔石DTU通过MQTT传递数据教程

塔石通过MQTT通讯上传ADL400电表用电量。

renkai721的专栏 257

无人机航拍垃圾检测数据集深度学习 目标检测 无人机航拍 垃圾检测 环境卫生 YOLO格式 数据集发布9029期

无人机航拍垃圾检测数据集深度学习 目标检测 无人机航拍 垃圾检测 环境卫生 YOLO格式 数据集发布9029期

qq_2529413168的博客 230

《备考信息系统项目管理师》 - 专栏介绍和目录

本专栏会持续详细梳理软考高级信息系统项目管理师(高项)的考点、所有历年真题(包括综合知识、案例分析、论文)等,有论文专项,预测模拟题等内容。需要的可以先订阅下哦。

数据知道的博客 2万+

最新Python爬虫实战(入门爬虫篇)——案例8:图书网畅销榜数据采集(详细爬虫思路截图+抓包动图演示+完整爬虫代码+详细注释)

本次案例通过 Python 爬虫技术,成功实现了对图书网畅销榜多页数据的批量爬取与 Excel 保存。代码采用模块化设计,包含分页参数构造、API 接口请求、JSON 数据解析、Excel 数据持久化等完整流程;通过配置模拟浏览器的请求头,有效规避基础反爬策略,保证请求的稳定性。整个爬虫逻辑遵循 “分页遍历 → 接口请求 → JSON 解析 → 提取图书信息 → 保存到 Excel” 的标准流程,与电商类接口爬取范式高度一致。

努力让自己发光,对的人才能迎着光而来 29万+

YOLO算法室内环境玻璃瓶目标检测数据8979张:类别与标注速览

该数据集聚焦于室内环境中各类玻璃瓶的识别与定位,涵盖多种材质、颜色和形状的玻璃容器,适用于家庭、仓储、零售等场景下的物品管理与自动化识别需求。该数据集包含训练集7812张、验证集818张、测试集349张,共计8979张图像,分布结构合理,能够有效支持模型训练、调优与性能评估。落地场景大致有智能仓储管理系统、自动分拣设备、零售商品识别系统以及家庭安防监控等领域,尤其适用于需要对玻璃制品进行分类与追踪的工业与消费场景,具备良好的落地潜力与实用前景。数据量、场景复杂度、标注质量三样都过关,这份数据可以直接开训;

小秋的博客 259

基于YOLOv8的水果新鲜程度检测系统设计与实现

数据采集与预处理模块:负责收集水果图像数据并进行标注和增强深度学习模型:基于YOLOv8的目标检测模型新鲜度评估模块:根据检测结果评估水果新鲜程度用户界面:提供友好的交互界面系统集成:将各模块整合为完整系统水果新鲜程度检测需要包含多种水果在不同新鲜度状态下的图像数据集。:包含5种常见水果(苹果、香蕉、橙子、葡萄、草莓)在不同新鲜度下的图像包含约8,000张图像,分为新鲜和腐烂两类AgriVision:大型农业图像数据集,包含水果检测和分类任务Fruit-360:包含120种水果的高质量图像。

YOLO 447

OpenCV 车辆数量统计

涉及到的知识点:1)基本图像运算与处理2)形态学3)轮廓查找4)加载视频5)通过形态学识别车辆6)对车辆进行统计7)显示车辆统计信息。

ahccqw的博客 110

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【无标题】无人机视角道路坑洞坑洼目标检测数据集深度学习 目标检测 无人机航拍 道路坑洞 路面病害 YOLO格式 数据集发布9032期

(一)类别构成该数据集聚焦单一类别——坑洞(类别 ID 为 0),任务指向明确,围绕无人机俯视视角下的道路坑洞目标开展检测标注。类别体系精简,与公路路面病害巡检的实际需求高度契合,图像中的坑洞样本可直接作为路面破损识别的核心正样本,便于对接道路养护排查流程。(二)数据数量数据集规模为 3285 张无人机俯视航拍图像,采用标准 YOLO txt 标注格式,标注框总计 4457 个,其中带有效标注的图片 2007 张,全部图片均带有有效标注。

qq_2529413168的博客 185

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

基于深度学习的水下复杂场景鱼类目标检测系统:YOLOv8+Django实现详解

本课题面向水下复杂场景的鱼类检测问题,以YOLOv8s为主模型,在约8200张、13类的水下图像上完成训练。训练前通过短训海选自动选型,训练后与Faster R-CNN、SSD300在同一冻结划分和COCO评测口径下对比,三个随机种子重复实验并做统计检验,验证集mAP50-95为0.734。最优权重经对账后导出为端到端ONNX,接入Django与Vue系统,提供图片、视频、摄像头识别、识别历史管理与可视化大屏,形成从模型到应用的完整闭环。

WEIXIN_JSJBSZDS的博客 357

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

基于深度学习的猫图像目标检测方法研究:YOLOv8s模型海选、多种子对比训练与Django+ONNX部署实现详解

本课题基于深度学习研究猫图像目标检测问题。数据集含1000张猫图像、1188个标注框,按固定比例划分并冻结清单;训练前在多个候选族中短训海选,确定YOLOv8s为主模型,经学习率搜索与显存标定后完成150轮训练,验证集mAP50达到0.92,并以7个随机种子的对比实验验证稳定性。最优权重导出为ONNX接入Django系统,提供图片、视频、摄像头三种识别方式,配套识别记录管理与统计大屏,形成从训练到应用的完整闭环。

WEIXIN_JSJBSZDS的博客 218

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

无人机巡检道路路面异常检测数据集 深度学习 目标检测 无人机巡检 道路病害 路面异常 YOLO格式 数据集发布9028期

qq_2529413168的博客 212

深度学习 目标检测 无人机巡检 防震锤 电力设备 YOLO格式 数据集发布

深度学习 目标检测 无人机巡检 防震锤 电力设备 YOLO格式 数据集发布 9038期

qq_2529413168的博客 316

OpenCV 图像轮廓

轮廓查找 绘制轮廓 计算面积 计算周长 approxPolyDP (多边形拟合) 作用: 用较少且平滑的直线段来近似表示一个复杂的轮廓。常用于提取物体的几何形状(如把圆角矩形简化为矩形,把五角星简化为五边形),是形状识别中非常常用的函数。参数含义: 作用: 找到能够将一个轮廓(或一堆点)完全包围住的最小凸多边形。就像是用一根橡皮筋把所有钉子(轮廓上的点)紧紧包住,橡皮筋的形状就是“凸包”。常用于检测物体的凸缺陷。参数含义: 大外接矩形 (Bounding Rectangle) 作

ahccqw的博客 243

tonemap算法初探

4.三边滤波(trilateral filter)通过进一步考虑梯度变化来改进边缘处行为,后续的加权最小二乘滤波、局部拉普拉斯滤波等边缘感知滤波器(EPF)沿同一思想发展,构成了局部色调映射中一条清晰的技术脉络。3.tonemap色调映射算法是未来解决HDR的图像在SDR设备上显示的问题来设计一种变换函数,其目标不是。2.HDR图像不经过任何处理,直接显示在SDR的设备上,超出显示上限的亮度被截断为纯白,低于下限。并且在压缩全局动态范围的同时,如何尽可能保留局部对比度和细节,并且抑制此过程中产生的伪影。

dong6016的博客 381

通过能量分离实现开放世界目标检测中的未知目标检测

在本研究中,我们致力于解决开放世界目标检测(Open World Object Detection,OWOD)问题。这一具有挑战性的任务要求检测器在增量学习过程中,既能够持续学习并分类已知类别的目标,同时避免遗忘已有知识,又能够在缺乏监督的情况下识别未知目标。以往的 OWOD 方法主要通过改进未知目标发现机制,并采用记忆回放(Memory Replay)策略来缓解灾难性遗忘。然而,由于现有方法在检测未知目标时高度依赖检测器对已知类别的预测结果,因此难以有效学习和识别未知目标的特征表示。

qq_22583741的博客 306

基于深度学习的猫狗目标检测(Python+YOLO26m+Django)实现详解

详解基于深度学习的猫狗目标检测系统:YOLO26m迁移学习训练、数据划分与错标检测、ONNX导出、Energy阈值拒识、Django+Vue网站部署,附后端核心代码。

WEIXIN_JSJBSZDS的博客 383

航拍水葫芦检测数据集深度学习 目标检测 无人机航拍 水葫芦 水域监测 YOLO格式 数据集发布9031期

航拍水葫芦检测数据集深度学习 目标检测 无人机航拍 水葫芦 水域监测 YOLO格式 数据集发布9031期

qq_2529413168的博客 304

基于 YOLOv8 的轴承缺陷检测(Web 版)

本项目是轴承表面缺陷检测模型的 Web 端实现。围绕 YOLOv8 在轴承表面缺陷数据集上完成四类缺陷的检测模型训练后,使用 FastAPI 把模型能力封装为可直接登录使用的 Web 检测平台。平台覆盖从数据准备、模型训练、指标评估,到推理服务、历史沉淀、统计分析的完整链路。除了常规的图片、批量、视频、摄像头检测,还把模型训练搬到了网页上:可以在浏览器里配置超参数发起真实训练,训练中在线调整学习率、查看实时曲线与日志,训练完成后把权重一键应用到检测服务,形成「训练 → 评估 → 检测」的闭环。

Michael_Jay的博客 293

基于 YOLOv8 的传送带异物检测系统(Web 版)

本项目用 YOLOv8 把井下传送带上的异物识别建模为目标检测任务,覆盖异物(yiwu)与锚杆(maogan)两类目标。模型在 3,114 张井下传送带监控图像上训练完成后,以 FastAPI 构建 Web 平台,把推理、统计与训练能力一起放进浏览器。平台覆盖图片、批量图片、视频、浏览器摄像头四类输入,另提供告警统计、识别历史与同图双权重对比。网页模型训练可在页面配置超参数发起真实训练,训练中在线调整学习率、查看损失与 mAP 曲线,训练完成后把新权重直接切给检测使用。

Michael_Jay的博客 315
上一篇: VCID虚拟信道详解:如何用AOS帧区分卫星影像/姿态/轨道数据
下一篇: 避坑指南:PyQt5安装时为什么会出现Permission denied错误?如何彻底解决
pluto
博客等级 码龄25年 46粉丝 1562原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值