- 博客(43)
- 收藏
- 关注
原创 [python]使用 Pandas 分组和汇总表数据
在数据分析中,数据的分组与汇总是非常常见的操作。下面使用 Python 的 Pandas 库来处理表数据,并生成汇总结果。
2024-12-14 17:29:06
497
原创 [python]使用 Pandas 处理 Excel 数据:分割与展开列操作
在数据处理的过程中,时常需要对 Excel 表格中的数据进行清洗与转换,下面介绍使用 Python 中的 Pandas 库对 Excel 文件中的数据进行操作,具体包括分割列、展开数据、清除空格以及格式转换等操作。
2024-12-14 17:26:33
1350
原创 [Python]实现简单计时器应用
创建一个简单的计时器应用,使用Python的Tkinter库进行图形化界面设计。这个应用包括开始、暂停、重置等功能,可以设置一个倒计时并显示剩余时间
2024-12-03 08:06:47
892
原创 [python]使用Pandas处理多个Excel文件并汇总数据
处理多个Excel文件,并将其中的数据进行汇总和分析。本文介绍使用Python的Pandas库来读取多个Excel文件,并汇总不同类型的数据,例如员工工资、工件数量等
2024-08-10 14:17:01
1830
原创 [python]使用Pandas将Excel文件转换为JSON格式
在数据处理和分析过程中,经常需要将**Excel文件转换为JSON格式**,以便在Web应用程序中使用。本文介绍如何使用Python的Pandas库实现这一功能,并解释其中的关键函数
2024-08-02 19:15:00
1234
原创 [GEE] 质量波段去云处理与按位运算掩膜
介绍使用GEE中的质量波段(QA Band)进行去云处理(类似的可以借助其他波段进行需要的处理),并通过按位运算来实现这一目标
2024-08-02 18:00:00
767
原创 【GEE笔记】随机森林特征重要性计算并排序
通过计算并排序特征重要性,可以对影像进行特征选择,即只保留最重要的波段,从而减少数据的维度,提高分类的速度和准确性。当然,特征选择的效果还需要通过分类精度评估来验证,这是下一步的工作。随机森林分类器有一个重要的属性,就是可以计算每个特征(或者说波段)的重要性,即该特征对分类结果的贡献程度。特征重要性可以帮助我们选择最有效的特征,从而提高分类的准确性和效率。
2023-12-08 16:45:40
3447
2
原创 【GEE笔记】在线分类流程,标注样本点、分类和精度评价
GEE(Google Earth Engine)是一个强大的地理信息处理平台,可以实现在线的遥感影像分析和处理。本文将介绍如何使用GEE进行在线的分类流程,包括标注样本点、分类和精度评价。本文以2020年5月至8月的哨兵2影像为例,对区域内的土地覆盖类型进行分类。
2023-12-08 16:16:14
4060
8
原创 Vue.js实现可编辑表格并高亮修改的单元格
实现一个可编辑的表格,让用户可以修改表格中的数据,并且能够清楚地看到哪些单元格被修改过。这样的功能可以提高用户体验,也方便后端处理数据的变化。本文将介绍如何使用Vue.js和Element UI的el-table组件来实现一个可编辑表格,并且修改的单元格会有不同的背景色。
2023-12-07 16:35:33
1266
原创 如何解决el-table中动态添加固定列时出现的行错位
在使用el-table组件时,我们有时需要根据用户的操作动态地添加或删除一些固定列,例如操作列或选择列。但是,当我们使用v-if指令来控制固定列的显示或隐藏时,可能会出现表格的行错位的问题,即固定列和非固定列的行高度不一致,导致表格的布局混乱。其中,针对本文添加dom触发bug的条件,有效的方法是使用doLayout方法,该方法可以在表格的数据或列发生变化时,对表格的dom进行重新渲染,更新表格的布局。
2023-12-07 15:35:29
2431
原创 处理npm报错:To address all issues (including breaking changes), run:npm audit fix --force
处理npm报错:To address all issues (including breaking changes), run:npm audit fix --force
2023-11-28 14:04:03
8295
1
原创 Vue实现可拖拽边界布局
可拖拽边界布局,它由左右两个区域组成,左边是一个树形菜单,右边是一个上下分割的内容区域。用户可以通过拖动水平和垂直的分隔线来改变左右区域和上下区域的宽度和高度
2023-11-28 10:46:40
6006
原创 【GEE笔记】主成分分析(PCA)算法的实现和应用
本文介绍如何使用Google Earth Engine(GEE)平台实现PCA算法,并且展示一个应用案例,即利用PCA对哨兵二号(Sentinel-2)影像进行降维。
2023-07-24 16:42:54
2920
4
原创 【GEE笔记】使用Sentinel-2数据进行影像按月合成
本文使用Google Earth Engine(GEE)平台上的Sentinel-2数据和JavaScript语言。通过定义几何区域、年份、波段列表、开始日期和结束日期等参数,对影像集合进行了筛选和裁剪,然后使用自定义的函数对每个月的影像进行了平均合成
2023-07-24 11:19:09
2477
3
原创 【GEE笔记】创建缓冲区,提取缓冲区内统计值
展示使用Google Earth Engine(GEE)提取区域内矢量点缓冲区内任意指标的统计值,并将结果导出为一个CSV文件。作为示例,使用Landsat 8归一化植被指数(NDVI)作为指标
2023-07-03 07:42:29
1546
原创 HBase 2.3.7中snappy压缩配置
本文将介绍如何在HBase 2.3.7中配置snappy压缩。snappy是一种快速的数据压缩和解压缩算法,可以提高HBase的存储空间利用率和读写性能。本文使用了HBase 2.3.7版本,运行在三个Ubuntu系统的虚拟机中,分别作为master和slave节点。也可以使用其他版本的HBase和其他操作系统,只要保证snappy的安装和配置正确。
2023-06-16 11:30:08
2539
4
原创 HBase Shell操作HBase进行预分区
本文将介绍如何使用HBase Shell操作HBase进行预分区。预分区是指在创建表的时候,指定表的初始分区点,从而使表的数据能够均匀地分布在多个RegionServer上,提高读写性能和负载均衡。本文将使用HBase Shell命令,创建不同的预分区表,并演示如何删除、刷新、查看和验证表的数据。本文使用了HBase Shell命令,通过交互式方式操作HBase进行预分区。也可以使用Java API或其他语言API。
2023-06-16 10:58:05
3043
原创 Spark操作HBase的数据,实现列值的计算
本文将介绍如何使用Spark操作HBase的数据,实现列之间的计算,以特征值计算为例。主要内容如下:创建SparkSession和HBaseConfiguration对象。读取HBase表的数据,并转化成RDD。进行列式计算,得到特征值,并转化成RDD。写入HBase表的数据。验证HBase表的数据。
2023-06-16 09:23:14
2845
原创 Python使用多线程操作tif影像和HBase数据库
本文介绍使用Python的多线程技术,提高happybase模块和gdal模块的效率,从tif格式的影像文件中读取数据,并将其存储到HBase数据库中
2023-06-15 15:51:09
1627
原创 Python使用happybase写入HBase
本文介绍如何使用Python的happybase模块和gdal模块,从tif格式的影像文件中读取数据,并将其存储到HBase数据库中。
2023-06-14 17:27:02
2742
原创 Intellij IDEA编写Spark应用程序的环境配置和操作步骤
在win系统中使用IDEA开发spark应用程序,并将其打成jar包上传到虚拟机中的三个Ubuntu系统,然后在分布式环境中运行
2023-06-14 15:49:49
6757
原创 分布式存储与并行处理环境配置:Hadoop、HBase和Spark等
本文介绍Linux系统中配置Hadoop、HBase和Spark环境,包括安装Java运行环境、下载安装包、进行配置和测试。通过这种方式,可以搭建一个强大的分布式计算环境,用于处理大规模数据集。为了成功配置Hadoop、HBase和Spark环境,需要理解它们之间的关系和各自的组件。
2023-06-12 16:34:44
1136
原创 分布式安装配置spark-3.2.3
Spark是一个基于内存的大数据计算框架,可以与Hadoop集成,提供更快速的数据处理能力。本文将介绍如何在三个Ubuntu系统上搭建一个Spark集群。
2023-06-12 16:14:48
1138
原创 Ubuntu系统中分布式安装配置HBase-2.3.7
HBase是一个基于Hadoop的分布式列式数据库,可以存储海量的结构化和半结构化数据。本文介绍如何在三个Ubuntu系统上搭建一个HBase集群,并进行简单的数据操作。
2023-06-09 14:49:50
2160
1
原创 分布式安装配置zookeeper3.4.12
本文介绍在Ubuntu系统上搭建一个三节点的Zookeeper集群。主要步骤包括:准备工作:下载安装包,配置主机名,安装JDK。安装配置Zookeeper:解压安装包,设置环境变量,创建数据目录和myid文件,编辑配置文件。启动Zookeeper集群:启动服务,查看状态。
2023-06-05 12:14:04
643
1
原创 分布式安装配置Hadoop3.2.4
本文介绍如何在Ubuntu系统中安装配置Hadoop。Hadoop是一个开源的分布式计算框架,它可以处理大规模的数据集。Hadoop的核心组件是Hadoop分布式文件系统(HDFS)和MapReduce编程模型。Hadoop还包括一些其他的子项目,如Hive,Pig,Spark等,提供了不同层次的数据处理能力。
2023-06-02 14:36:47
1427
原创 虚拟机VMware 中安装Linux系统-Ubuntu
本文介绍如何使用vmware workstation pro软件在Windows系统中创建一个虚拟机,并在虚拟机中安装Ubuntu 20.04 LTS系统。这样可以在不影响原有系统的情况下,体验和学习Ubuntu的特性和功能。
2023-04-12 11:51:22
1601
原创 【WebGIS】 矢量栅格可视化网页实践——基于cesium、geoserver、postgis
矢量数据借助postgis上传到postgre数据库,连同栅格数据发布到geoserver;构建web项目,引入相关拓展库,使用的jsp仅为展示前端功能;前端借助cesium调用地图服务加载地图
2022-08-23 16:16:39
2785
2
原创 【GEE笔记】有效像元(面积、数量)统计
统计掩膜后数据集像元数量统计,区域面积、数量统计,在GEE线上的Code Editor编写JavaScript代码实现相关功能:传入范围,筛选出符合条件的数据,预处理之后计算
2022-05-17 16:16:44
8833
5
原创 【GEE笔记】最大类间方差法(otsu、大津法)算法实现——计算阈值、图像二值化分割
主要内容1、最大类间方差法原理概述2、GEE频率分布统计3、算法具体实现,以GEE JavaScript版本为例4、目标像元提取,以遥感影像提取水体为示例
2022-05-16 17:15:53
11537
14
原创 【Python笔记】pyqt5进度条-多线程图像分块处理防止窗体卡顿
主要功能1、打开文件夹,读取tif文件列表,填入数据列表框2、多线程对所有tif文件分块处理3、更新进度条
2022-05-15 15:49:32
3187
打包好的的计时器应用(exe)
2024-12-02
使用 Pandas 处理 Excel 数据:分割与展开列
2024-11-26
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人