2018/8/5/31

最新推荐文章于 2024-04-18 10:04:07 发布
转载 最新推荐文章于 2024-04-18 10:04:07 发布 · 332 阅读 · 0

基于pointnet网络架构的点云数据准备    http://www.pclcn.org/bbs/forum.php?mod=viewthread&tid=2133

Stanford 2D-3D-Semantics Dataset (2D-3D-S)

http://buildingparser.stanford.edu/dataset.html

PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation解析(PointNet模型) 

https://blog.youkuaiyun.com/hit1524468/article/details/80023779

https://data-sci.info/2017/06/27/run-faster-rcnn-tensorflow-detection-api/

https://blog.youkuaiyun.com/tumi678/article/details/80082216

Tensorflow之池化函数汇总    Tensorflow之池化函数汇总

https://blog.youkuaiyun.com/zsean/article/details/77886689




Tensorflow之池化函数汇总 
Tensorflow之池化函数汇总
GEE案例：Landsat 5、7、8影像构建1985-2023年rsei生态遥感指数详细代码
此星光明博客
07-30 2999
rsei（Regional Silviculture Ecological Index，地区林业生态指数）是一种生态遥感指标，用于评估森林生态系统的健康状况和生态服务。构建1985-2023年的rsei生态遥感指，主要需要使用Landsat 5、7和8的遥感影像数据。以下是一种可能的构建方法：1. 数据获取：从美国地质调查局（USGS）或其他可靠数据提供商处获取Landsat 5、7和8的遥感影像数据。确保选择的影像具有适当的空间和时间分辨率，以覆盖所需的时间段。
点云入门笔记（二）：点云常用软件、开源库以及数据集
wc19862274581的博客
12-03 9922
1、常用软件 （1）开源软件： CloudCompare 特点： 开源，且支持多平台(Windows, Mac,Linux)，支持常见的点云数据格式，简单的点云编辑，支持用户自己添加插件和增加新功能(如Ransac，Poisson MeshReconstruction, Classification withCANUPO)，适合于点云可视化，简单编辑或者处理 Meshlab 特点：处理和编辑3D三角形网格的开源系统，主要是编辑，清理,修复，检查，渲染，纹理和转换网格的工具3D Acq...
点云数据集
weixin_36342174的博客
11-24 750
点云数据集总结 三维点云数据，三维深度学习 1.ShapeNet ShapeNet是一个丰富标注的大规模点云数据集，其中包含了55中常见的物品类别和513000个三维模型。 2.ShapeNetSem 这是一个小的数据库，包含了270类的12000个物体。 ...
探索未来视觉：2D-3D Semantics——深度学习的新纪元
gitblog_00034的博客
04-18 346
探索未来视觉：2D-3D Semantics——深度学习的新纪元 在这个数字化的世界里，理解和处理三维（3D）环境的能力是至关重要的。 是一个创新项目，它旨在结合2D图像处理和3D理解，以实现更准确、更全面的场景解析。对于开发者、研究人员和对计算机视觉有热情的人来说，这是一个不容错过的工具。 项目简介 2D-3D Semantics 提供了一个端到端的框架，用于从单个2D图像中恢复3D场景的语义分...
【深度学习】三维点云数据集总结
热门推荐
TomRen
10-22 4万+
点云数据集总结 三维点云数据，三维深度学习 1.ShapeNet ShapeNet是一个丰富标注的大规模点云数据集，其中包含了55中常见的物品类别和513000个三维模型。 2.ShapeNetSem 这是一个小的数据库，包含了270类的12000个物体。 3.ModelNet ModelNet总共有662中目标分类，127915个CAD，以及十类标记过方向朝向的数据。 其中包含了三个子...
#每天一篇论文#(213/365) Joint 2D-3D-Semantic Data for Indoor Scene Understanding 结合2D-3D室内语义数据场景理解
流浪机器人的博客
08-29 1781
Joint 2D-3D-Semantic Data for Indoor Scene Understanding http://3Dsemantics.stanford.edu/ A.摘要 本文提供了一个大型室内空间的数据集，它提供了从二维、2.5d和三维域相互注册的各种模式，具有实例级语义和几何注释。数据集占地超过6000m2它包含超过70000个RGB图像，以及相应的深度、曲面法线、语义注释、...
2018年Java Activiti6.x 视频整合Spring Boot/JPA/WEB框架实战
12-17
2018年Java Activiti6.x 视频整合Spring Boot/JPA/WEB框架实战 01 Activiti介绍与搭建开发环境 02 运行官方例子 03 编写第一个Activiti程序 04 流程引擎配置与服务组件 05 Activiti数据库介绍 06 API(1)...
ISPRS2018/云检测：Cloud/shadow detection based on spectral indices for multi/hyp基于光谱指数的多/高光谱光学遥感成像仪云/影检测
ssshyeong的博客
07-23 3631
本文针对目前广泛应用的可见光和红外光谱通道的多光谱/高光谱光学遥感传感器，提出了一种基于光谱指数的统一云/影检测算法(CSD-SI)。一方面，提出了云指数(CI)和云阴影指数(CSI)，根据它们的物理反射特性来表示潜在的云和云阴影;此外，考虑云与云阴影的空间共存，采用空间匹配策略去除伪云阴影。在8种不同类型的光谱和空间分辨率的多光谱/高光谱光学传感器上验证了该算法的有效性。...
蓝桥杯2018年第九届C/C++ B组省赛习题题解
lihua777的博客
03-17 8510
蓝桥杯2018年第九届C/C++ B组省赛习题题解
精选资源
Linux系统中 /etc/fstab 文件的深入解读
01-10
前言 [root@localhost ~]# cat /etc/fstab # # /etc/fstab # Created by anaconda ...# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # UUID=64fc4e32-9cc9-4af9-8846-dc13865f770e /
键盘输入数据，折半查找，给出查找成功或失败的信息
01-12
折半查找 （1）从键盘输入上述8个整数5 ,14 ,18 ,21 ,23 ,29 ,31 ,35，存放在数组bub[8]中，并输出其值。 （2）从键盘输入21，查找是否存在该数据元素，若存在，则输出该数据元素在表中的位置，否则给出查找失败的信息。 （3）从键盘输入25，查找是否存在该数据元素，若存在，则输出该数据元素在表中位置，否则给出查找失败的信息。
计算机博弈
02-27
本文针对五子棋设计的游戏，智能化程度高，几乎秒杀其他五子棋的软件，实战效果好！希望大家提出宝贵意见！
数据结构折半查找
11-22
数据结构中折半查找，C语言版，自己写的代码，希望对朋友们有所帮助
caffe Segnet 语义分割（一）
赵木木
02-26 4055
2018.02.26 learning journal by 赵木木 Segnet论文下载 1. 编译slam3d出错记录 Qt 编译器可以清楚的查到错误所在位置； 在Issues中查看 【error1】: could not convert‘Eigen::PlainObject... 'Eigen::Map... PCL_ADD_POINT4D;......
SLAM、三维重建，语义相关数据集大全
u010451780的专栏
08-18 1568
一 主要针对自动驾驶： 1.KITTI数据集： http://www.cvlibs.net/datasets/kitti/index.php（RGB+Lidar+GPS+IMU） KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集。该数据集用于评测立体图像 (stereo)，光流 (optical flow)，视觉里程计(visual odometry)，3D物体检测 (object detection) 和 3D跟踪 (t
Mysql常见问题（一）
q503385724的博客
04-20 1150
1、最简单的sql语句如CREATE TABLE `student1`报错，create下始终有一个红色波浪线，这是因为，先打开了编写SQL的窗口，在外面再建了表。他的智能提示不同步。关了这个SQL窗口，重新再打开一个，就没有问题。报错为 error code 10642、报错No suitable driver found for Djdbc:mysql://localhost:3306/tes...
23 数组
weixin_30897233的博客
04-04 155
转载于:https://www.cnblogs.com/ikong/p/10657529.html
遍历文件夹及子文件夹的csv文件，文件有日期列，日期列是2018/1/31、2018/2/1、2018/2/2、这样，文件名是 201802只数，201802表示2018年02月 现在，要对文件里面不是2月的数据删掉，只保留2月的数据，即：文件名和文件里面的日期保持一致，文件名是2018年2月，则对应文件里的数据是2018年2月的数据，不能有2018年1月的数据 新文件保持同源文件结构和文件名一致，帮我梳理需求并帮我写Python
最新发布
07-29
<think>需求梳理： 1. 遍历文件夹及其子文件夹，找到所有CSV文件。 2. 从文件名中提取年份和月份（例如，文件名如“201802只数.csv”中的“201802”表示2018年2月）。 3. 对于每个CSV文件，读取其内容，并检查日期列（假设日期列的格式为“2018/1/31”等）。 4. 删除日期列中不属于文件名所表示的年月（例如，文件名是201802，则只保留2018年2月的数据，删除2018年1月、3月等的数据）。 5. 将处理后的数据保存为新的CSV文件，保持原有的文件结构和文件名。 注意：由于原始日期格式可能为“2018/1/31”或“2018/01/31”，而文件名中的月份是两位数字（如02），我们需要将日期列解析并提取年月，然后与文件名中的年月比较。 步骤： 1. 遍历目录，获取所有CSV文件路径。 2. 从文件名中提取年月（例如从“201802只数.csv”中提取“201802”，然后转换成年份2018，月份02，注意月份是两位数）。 3. 读取CSV文件，假设日期列的列名（例如列名为“日期”），如果不是，可能需要用户指定或通过其他方式识别。 4. 将日期列转换为统一的日期格式，并提取出年月（格式化为6位数字字符串，如“201802”）。 5. 过滤出日期列中提取的年月与文件名中的年月一致的行。 6. 将过滤后的数据保存回原路径（或者可以选择保存到另一个目录，但这里要求保持同源文件结构和文件名一致，所以直接覆盖或保存到原位置？注意：为了避免操作失误，建议先保存到临时文件或备份，但需求是保持相同结构和文件名，所以我们可以选择覆盖原文件或保存到相同路径。但为了安全，可以先保存到临时文件，再替换原文件，或者用户可以选择输出到另一个镜像目录）。 但是，需求中要求“新文件保持同源文件结构和文件名一致”，所以我们可以将处理后的文件保存到原路径（覆盖原文件）或者保存到另一个与源目录结构相同的目录。这里为了安全，我们假设用户希望保留原始文件，并将处理后的文件输出到另一个目录（比如源目录的父目录下的一个子目录）。但需求没有明确，所以我们可以提供两种方式。 不过，需求并没有明确说明是否覆盖原文件，为了安全起见，我们可以将处理后的文件保存到另一个目录，比如在源目录的同级创建一个新目录（例如“cleaned_data”），并保持相同的子目录结构。 具体步骤： - 输入：源目录路径，输出目录路径（可选，如果不提供则覆盖原文件，但这样有风险，建议默认不覆盖） - 但是根据需求，新文件保持同源文件结构和文件名一致，所以输出目录的结构应该和源目录一致，只是根目录不同。 方案： 1. 用户指定输入目录（input_dir）和输出目录（output_dir）。 2. 遍历input_dir下的所有csv文件，对于每个文件，获取其相对路径（相对于input_dir）。 3. 在output_dir下创建相同的相对路径目录，确保目录存在。 4. 处理文件，然后保存到output_dir下相应的路径。 如果用户希望覆盖原文件，那么可以将output_dir设置为input_dir，但这样会覆盖原文件，所以需要谨慎。 代码实现： - 使用os.walk遍历目录。 - 使用pandas读取CSV文件（如果文件很大，考虑分块读取，但一般情况可以一次性读取）。 - 日期解析：使用pandas的to_datetime，然后提取年月（格式化为“%Y%m”的字符串）。 - 过滤数据：保留日期列的年月字符串与文件名中的年月字符串相同的行。 注意：文件名中的年月提取，我们假设文件名中有连续的6位数字（如201802）表示年月。但文件名可能不止一组6位数字，我们取哪一组？根据需求，文件名是“201802只数”，所以我们可以提取前6位连续数字作为年月标识。但如果文件名中有多组，我们可以使用正则表达式匹配6位连续数字，并取第一个匹配的作为年月。但需求中明确文件名是“201802只数”，所以我们可以认为文件名的前6位就是年月，或者用正则提取6位数字。 步骤： 1. 使用正则表达式从文件名中提取6位连续数字（如201802），如果没有则跳过该文件（或报错）。 2. 将提取的6位数字作为目标年月（target_year_month）。 处理日期列： 1. 读取CSV文件时，指定日期列的列名（这里假设列名为“日期”，但实际可能不同，需要作为参数传入）。 2. 将日期列转换为datetime对象。 3. 从日期列中提取年月（格式化为6位数字字符串，如201802）。 4. 过滤数据：只保留提取的年月等于target_year_month的行。 代码结构： ```python import os import re import pandas as pd from datetime import datetime def process_csv_files(input_dir, output_dir, date_column='日期'): # 遍历input_dir下的所有文件 for root, dirs, files in os.walk(input_dir): for file in files: if file.endswith('.csv'): input_file_path = os.path.join(root, file) # 获取相对路径，以便在output_dir中创建相同结构 rel_path = os.path.relpath(root, input_dir) output_subdir = os.path.join(output_dir, rel_path) os.makedirs(output_subdir, exist_ok=True) output_file_path = os.path.join(output_subdir, file) # 从文件名中提取6位数字年月 match = re.search(r'(\d{6})', file) if not match: print(f"跳过文件 {file}，未找到年月信息。") continue target_year_month = match.group(1) # 如'201802' # 读取CSV文件 try: df = pd.read_csv(input_file_path, encoding='utf-8') # 如果编码失败，可以尝试其他编码，这里为了简单，如果utf-8失败，可以尝试gbk except: try: df = pd.read_csv(input_file_path, encoding='gbk') except Exception as e: print(f"读取文件 {input_file_path} 出错: {e}") continue # 检查日期列是否存在 if date_column not in df.columns: print(f"文件 {input_file_path} 中不存在列名为 '{date_column}' 的列。") continue # 将日期列转换为datetime，错误则设为NaT df[date_column] = pd.to_datetime(df[date_column], errors='coerce') # 删除转换失败的行（即NaT的行） df = df.dropna(subset=[date_column]) # 提取年月（格式化为6位字符串，如201802） df['year_month'] = df[date_column].dt.strftime('%Y%m') # 过滤数据：只保留目标年月的数据 filtered_df = df[df['year_month'] == target_year_month] # 删除辅助列 filtered_df = filtered_df.drop(columns=['year_month']) # 保存到输出文件 try: filtered_df.to_csv(output_file_path, index=False, encoding='utf-8') print(f"已处理并保存: {output_file_path}") except Exception as e: print(f"保存文件 {output_file_path} 出错: {e}") if __name__ == '__main__': input_directory = r"E:\source_data" # 替换为你的输入目录 output_directory = r"E:\cleaned_data" # 替换为你的输出目录 process_csv_files(input_directory, output_directory, date_column='日期') ``` 注意： 1. 这里假设日期列名为“日期”，如果实际列名不同，需要修改date_column参数。 2. 日期解析时，使用了`errors='coerce'`，将无法解析的日期设为NaT，然后删除这些行。 3. 如果文件很大，可以考虑使用分块读取，但这里默认一次性读取。 4. 编码问题：先尝试utf-8，再尝试gbk，如果还不行可以继续添加其他编码，或者让用户指定编码。 相关问题： 1. 如果文件名中有多组6位数字，如何准确提取年月部分？ 2. 如果日期列有多种格式（如“2018-1-31”、“20180131”），如何统一解析？ 3. 如果文件非常大（比如几个GB），如何优化内存使用？ 4. 除了CSV，如果还有其他格式（如Excel）需要处理，如何扩展？</think>### 需求梳理 1. **遍历文件**：递归扫描文件夹及子文件夹中的所有CSV文件 2. **文件名解析**：从文件名提取年月（如 `201802只数.csv` → `201802`） 3. **日期过滤**： - 只保留日期列中与文件名年月匹配的数据（如文件名`201802`只保留2018年2月数据） - 日期格式统一处理（支持`2018/1/31`、`2018-02-01`等变体） 4. **输出要求**： - 保持原始目录结构 - 保持原始文件名 - 只输出过滤后的数据 ### Python实现方案 ```python import os import re import pandas as pd from pathlib import Path def filter_csv_by_date(input_dir, output_dir, date_col="日期"): """ 遍历目录处理CSV文件，保留与文件名年月匹配的数据 :param input_dir: 输入目录路径 :param output_dir: 输出目录路径 :param date_col: CSV文件中日期列的列名 """ # 创建输出目录 Path(output_dir).mkdir(parents=True, exist_ok=True) # 遍历所有CSV文件 for root, _, files in os.walk(input_dir): for file in files: if not file.lower().endswith('.csv'): continue input_path = os.path.join(root, file) rel_path = os.path.relpath(root, input_dir) output_path = os.path.join(output_dir, rel_path, file) # 从文件名提取年月 (6位数字) match = re.search(r'(\d{6})', file) if not match: print(f"⚠️ 跳过无法解析年月的文件: {file}") continue file_ym = match.group(1) # 如 '201802' target_year = int(file_ym[:4]) target_month = int(file_ym[4:6]) try: # 读取CSV文件（自动处理编码） df = pd.read_csv(input_path) # 检查日期列是否存在 if date_col not in df.columns: print(f"🚨 文件缺少日期列 '{date_col}': {file}") continue # 统一日期格式并提取年月 df['temp_date'] = pd.to_datetime( df[date_col], errors='coerce', # 无效日期转为NaT format='mixed' # 自动识别多种格式 ) # 过滤非目标年月的数据 filtered = df[ (df['temp_date'].dt.year == target_year) & (df['temp_date'].dt.month == target_month) ].drop(columns=['temp_date']) # 创建输出目录并保存文件 os.makedirs(os.path.dirname(output_path), exist_ok=True) filtered.to_csv(output_path, index=False, encoding='utf-8-sig') print(f"✅ 处理成功: {file} | 保留 {len(filtered)}/{len(df)} 行") except Exception as e: print(f"🔥 处理失败 {file}: {str(e)}") # 使用示例 if __name__ == "__main__": filter_csv_by_date( input_dir="原始数据路径", output_dir="清洗后数据路径", date_col="日期" # 根据实际列名修改 ) ``` ### 关键代码解释 1. **文件名解析**： ```python re.search(r'(\d{6})', file) # 提取连续6位数字作为年月标识 ``` 2. **日期统一处理**： ```python pd.to_datetime(..., format='mixed') # 自动处理多种日期格式 ``` 3. **年月过滤**： ```python (df['temp_date'].dt.year == target_year) & (df['temp_date'].dt.month == target_month) ``` 4. **目录结构保持**： ```python os.path.relpath(root, input_dir) # 保持原始相对路径 os.makedirs(... exist_ok=True) # 递归创建目录 ``` 5. **安全处理**： - `errors='coerce'`：无效日期转为空值（自动过滤） - `try-except`：捕获文件读取/处理异常 - 编码处理：输出使用`utf-8-sig`解决Excel中文乱码 ### 使用注意事项 1. **日期列名称**：如果实际列名不是"日期"，修改`date_col`参数 2. **文件名规范**：文件名必须包含6位连续数字（如`202405数据.csv`） 3. **日期格式支持**：自动处理以下格式： - `2018/1/31` - `2018-02-01` - `2018.2.28` - `01Feb2018` 4. **内存管理**：大文件建议添加`chunksize`参数分块读取 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值