3D分割之SAGA训练流程解读

训练之前,会先提取2种特征,

一种是每张图片的image encoding, 它的size是(64,64),代表每个像素处的特征向量。这个向量用于特征匹配(选中的目标和每个像素的相似度)。
一种是SAM提取的所有mask(用于计算mask所在目标的特征向量)。

extract_features.py提取的是SAM模型predictor.set_image的image encoding (1,256,64,64)
extract_segment_anything提取的是SAM的generate产生的自动mask
这里保存每张图片所有mask, float形式,resize到(200,200), 原图是(1024,1024).
SAM用法:
predictor.predict预测的是含有prompt的mask, 而generate是自动产生所有mask.

训练3DGS的语义特征在traiin_contrastive_feature.py

3DGS模型的每个点增加语义特征
feature_dim=32
只不过Scene里面有一个gaussians还有一个feature_gaussians, 刚开始都是load scene_point_cloud.ply(3DGS),后面只用feature_gaussians,gaussians会删除。

feature_gaussians里面的get_point_features(807321,32), 这应该是每个点的语义特征.
get_features(807321,16,3) 这个是颜色特征,包括了feature_dc(SH颜色

告别NeRF的漫长等待:用3DGS+SAM实现毫秒级3D物体分割(附SAGA开源代码解读) 本文介绍了SAGA方案如何结合3D高斯泼溅(3DGS)与Segment Anything Model(SAM)实现毫秒级3D物体分割,显著提升实时交互性能。通过开源代码解读,详细解析了3DGS作为理想载体的优势、SAM的2D分割能力迁移到3D空间的方法,以及SAGA的高效推理流程和关键工程实现细节。 阅读详情

相关推荐

告别模糊边界!手把手教你用COB-GS优化3D高斯分割(附SAM2掩码实战)

本文详细介绍了COB-GS技术在3D高斯分割中的应用,通过边界自适应高斯分裂和纹理语义联合优化,显著提升分割边界的清晰度。结合SAM2掩码实战,为计算机视觉研究者和开发者提供了一套高效的3D分割解决方案,适用于AR/VR、影视特效等多个领域。

weixin_42523711的博客 174

从离散点到连续曲面:空间插值方法全解析与克里金实战

空间插值是一种基于离散采样点数据,通过数学模型推断连续空间分布的核心技术。其基本原理是通过已知点的位置和属性值,构建一个函数关系,从而预测未知点的值。这项技术的核心价值在于能够将有限的、局部的观测数据,转化为对整体区域连续、可视化的认知,极大提升了数据的利用深度和决策支持能力。在工程实践与科学研究中,空间插值广泛应用于地理信息系统(GIS)、环境监测、地质勘探、气象预测以及金融建模等领域。例如,根据有限气象站数据生成全国温度分布图,或依据土壤采样点评估污染扩散趋势,都依赖于稳健的插值方法。针对曲面重建与空间

weixin_30689307的博客 436

【Infracture】【数据中心】第十三篇 Ai infra中的“现象→根因→方案→关键参数/落地”01

现象:同步 RL step 里 99 分位输出长度是中位数的几倍到几十倍,整批等最慢几条;CoT/数学/代码尤甚,GPU 空泡严重,generation 占整体 50–80%、推理任务可到 80%+。根因方案矩阵落地红线:staleness K 先小(1→2→调),长尾不丢弃只延后;记录每条轨迹 policy_version、tokenizer_version、logprob、expert_route,便于重算 advantage 时做 off‑policy 修正。部署形态:gateway(router)→

weixin_49199313的博客 375

机器学习特征选择:GA-SA-SAGA算法实战

特征选择是机器学习和数据挖掘领域中一项至关重要的预处理步骤,其目的是从原始数据集中选出最有助于模型构建的特征子集。正确地选择特征不仅能够提升模型的性能,还能够减少训练时间、提高预测精度,并且能够提供对数据更深层次的理解。本章将介绍特征选择的基本概念,探讨其在数据分析和模型训练中的重要性,并概述接下来各章节内容,为读者深入理解后续应用和方法论打下坚实基础。在特征选择问题中,每一种可能的特征子集可以被视为一个状态,而状态空间则是所有可能特征子集的集合。

weixin_42465332的博客 1707

PID不够用?试试给PID加上‘预言’能力:史密斯预测器(SP)在温控、液位控制中的实战配置

本文深入探讨了史密斯预测器(SP)在温控和液位控制中的应用,特别针对大滞后系统的PID控制难题。通过详细解析SP的核心组件、参数整定技巧及进阶应用FSP,结合西门子PLC的实战配置方案,帮助工程师有效提升控制精度和系统稳定性。文章还提供了S7-1200的完整实现步骤和调试技巧,为工业自动化控制提供了实用解决方案。

weixin_33686714的博客 466

新手必看:如何用T265和ROS实现无人机室内精准定位(附PX4参数配置)

本文详细介绍了如何使用Intel Realsense T265和ROS实现无人机室内精准定位,包括硬件准备、ROS数据流架构设计、PX4参数配置及系统验证。特别针对视觉SLAM技术在室内环境中的应用,提供了从零搭建到进阶优化的全流程解析,适合无人机开发新手快速上手。

weixin_30642561的博客 404

Labview_DQMH框架学习1--浅析

本文主要结合一个相对容易理解的例子,阐述 DQMH 框架的工作原理,希望对初学者有一定的帮助。

hrbeuxn的博客 3048

概率整形 Peobabilistic Shaping PS 第一节

概率整形概述 概率整形(Peobabilistic Shaping, PS)是一种针对于调制格式的优化技术,它为光通信通信提供了非常高的灵活性,但不会增加系统复杂性。尤其是光通信中的非线性问题会限制功率,使得PS就像为光通信量身定做的一样。 PS技术能够在不增加发送功率的前提下,获得高频谱效率和传输容量。2016年在使用PS技术的实验中实现了6600km单模光纤的65Tbit/s数据的传输。 到目前位置PS技术的研究主要集中在具有相干检测的单载波光纤传输。 概率整形的基本原理 概率整形技术就是通过在编码前

Explore_OuO的博客 8124

GEE训练教程:基于Sentinel-2卫星的归一化建筑指数(NDBI)等的进行城市扩张分析

本文介绍利用Sentinel-2卫星数据和谷歌地球引擎平台监测印度卡姆鲁普都会区2018-2024年城市扩张的方法。通过计算归一化建筑指数(NDBI)、植被指数(NDVI)和水体指数(MNDWI),采用多阈值规则识别建设用地,并量化不同年份的城市扩张面积。代码实现了从数据预处理、指数计算到面积统计的完整流程,为城市扩张研究提供了可复制的技术方案。关键参数包括年份选择、云覆盖阈值和分类阈值,均可根据研究需求调整。该方法能有效追踪城市边界变化,为城市规划提供数据支持。

此星光明博客 135

从毫K级温控到分子级洁净:光刻机环境控制系统的技术演进与专利格局

摘要 光刻机环境控制系统是半导体制造中的"隐形精密工程",通过毫K级温度控制(±0.002℃)、超高洁净度(ISO Class 1)等核心技术为纳米级光刻提供环境保障。本文系统分析了温度、湿度、洁净度、流场和压力控制五大技术方向的发展趋势,揭示了从单参数控制向多参数协同智能控制的转型路径。研究显示:1)温度控制正从PID向神经网络智能控制演进;2)EUV光刻将湿度控制推至ppbv级;3)洁净度控制扩展到分子级污染物管理。头部厂商中,ASML侧重系统集成,Nikon专注浸没流场,Canon

huanghm88的专栏 310

OpenClaw 保姆级 window部署

OpenClaw 保姆级 window部署 养龙虾

cs821984831的博客 297

RT-DETR改进策略【Conv和Transformer】| HiLo注意力机制 通过分离处理图像的高频和低频信息,高效处理图像特征

本文记录的是利用改进检测模型,针对目标检测中面临的多尺度特征融合效率与长距离依赖建模难题,HiLo注意力模块的引入旨在通过频率解耦策略优化高分辨率特征处理,将高频细节(如目标边缘)与低频语义(如场景结构)分离建模,提升目标检测精度。Fast Vision Transformers with HiLo AttentionHiLo注意力模块的提出源于对传统自注意力机制局限性的反思。传统多头自注意力(MSA)在处理高分辨率图像时存在以下问题:HiLo将注意力模块分为高频(Hi-Fi)和低频(Lo-Fi)两个分支,

Limiiiing的博客 814

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

SIMATIC S7-1200, S7-1500 PID 控制[手册]

SIMATIC S7-1200, S7-1500 PID 控制[手册]

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: 3DGS语义分割之LangSplat
下一篇: torch tensor调用detach时出现RuntimeError: CUDA error: an illegal memory access was encountered解决
蓝羽飞鸟
博客等级 码龄8年 1万+粉丝 727原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值