- 博客(20)
- 收藏
- 关注
RSS订阅原创 Spark学习记录——环境配置
配置SPARK的学习记录，若有错误，还请指正spark-env.sh配置export JAVA_HOME=.. # JDK安装目录export SCALA_HOME=.. # SCALA安装目录export HADOOP_HOME=.. #HADOOP安装目录export SPARK_HOME=.. #SPARK安装目录export SPARK_DIST_CLASSPATH=$(${HADOOP_HOME}/bin/hadoop classpath)export HADOPP_CONF_DI
2021-08-06 16:54:34
251
原创 SPARK_LOCAL_IP设置
获取本机IP地址方法https://www.cnblogs.com/poloyy/p/12212868.htmlexport SPARK_LOCAL_IP=$(ifconfig -a|grep inet|grep -v 127.0.0.1|grep -v inet6|awk '{print $2}'|tr -d "addr:")
2021-08-06 16:40:31
1641
原创 Python RGB空间到HSI空间转换
参考了网上不少RGB到HSI转换代码https://blog.youkuaiyun.com/qq_38328871/article/details/85060459https://blog.youkuaiyun.com/qq_30091945/article/details/78236347https://blog.youkuaiyun.com/lwplwf/article/details/77494072但直接跑起来，效率比较低，原因是用了循环。毕竟是Python，效率不能和C/C++相比。用numpy数组计算效率提高很多。公式参考
2021-07-14 20:53:29
2252
1
原创 scala signature package has wrong version expected: 5.0 found: 5.2 in package.class问题记录
XXX.jar brokenscala signature package has wrong version expected: 5.0 found: 5.2 in package.class解决办法：pom.xml中添加对应sdk的依赖，版本一定要对应如果是scala一定要找到对应的scala sdk的版本的库！！！如果写着scala 2.12和2.13都能兼容，最好选择只有2.12的...
2021-07-08 16:20:30
3682
原创 Hadoop 启动提示Unable to load native-hadoop library问题记录
Unable to load native-hadoop library for your platform… using builtin-java classes where applicable问题记录
2021-05-29 20:30:50
320
原创 Hadoop3.x启动后无法访问9870
使用start-dfs.sh或者start-all.sh启动后，无法访问9870端口。查看log之后发现，是无法创建一个目录需要修改core-site.xml，添加<property> <name>hadoop.tmp.dir</name> <value>/var/hadoop</value></property>需要创建/var/hadoopsudo mkdir /var/hadoop但是之后又报错，还需
2021-05-15 17:01:43
3154
1
原创 Hadoop Spark环境搭建
一、 JDK安装创建目录sudo mkdir /usr/lib/jvm将下载好的jdk压缩包解压sudo tar -zxvf dk-8u291-linux-x64.tar.gz -C /usr/lib/jvm/环境变量sudo vim /etc/profile添加export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_291export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:$
2021-05-15 16:38:02
222
原创 Python读取Tifff方法汇总
1、gdalfrom osgeo import gdalpath = r""ds = gdal.Open(path)2、tifffileimport tifffilepath = r""tif = tifffile.imread(path)
2021-05-12 20:47:40
1494
原创 GDAL安装
一、Windows 环境1、使用condaconda install gdal2、使用whl下载对应版本的gdalhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#gdalpip install GDAL‑3.2.3‑pp37‑pypy37_pp73‑win_amd64.whl注意whl的路径3、使用pip（不推荐）该方法经常出错pip install gdal二、Linux（Ubuntu）1、使用condaconda install -
2021-05-12 17:19:53
2034
原创 Ubuntu使用pip时提示no module named pip
从Ubuntu 16.04升级至20.04后，先前安装的pip失效，再安装提示已存在先删除，再重装sudo apt-get remove python3-pipsudo apt-get install python3-pip
2021-03-27 19:12:50
1902
原创 Pypi更换镜像源
仅做记录，方便找阿里云 http://mirrors.aliyun.com/pypi/simple/豆瓣 http://pypi.douban.com/simple/清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/中科大 http://pypi.mirrors.ustc.edu.cn/simple/临时换源pip install -i XXX https://pypi.tuna.tsinghua.edu.cn/simple/持久换源（Ubunt
2021-03-27 19:09:28
259
原创 GDAL遥感影像像素坐标与地理（投影）坐标相互转换
想直接用的代码，找不着了。。。只能翻出以前写的代码，记录一下# 像素坐标转地理（投影）坐标def pixel2geo(geotrans, px, py): ulX = geotrans[0] ulY = geotrans[3] pixelWidth = geotrans[1] pixelHeight = geotrans[5] rotate1 = geotrans[2] rotate2 = geotrans[4] Xgeo = ulX + px
2021-01-26 17:40:57
1986
原创 GDAL/OGR问题汇总
使用OGR的图层筛选Layer.SetAttributeFilter()和Layer.SetSpatialFilter()，筛选的结果使用for feat in Layer遍历，不能直接使用Layer.GetFeature()获取筛选后的要素
2021-01-16 21:20:44
1013
原创 Python学习笔记（一）
命名规则1、函数、变量及属性应该用小写字母来拼写，单词之间用下划线相连。如student_score2、受保护的实例属性，应该以单个下划线开头，表示protected。如_student_class3、私有实例属性，应该以两个下划线开头，表示private。如__student_id4、类与异常，应该以每个单词首字母大写的形式来命名。如Student5、模块级别的常量，应该全部采用大写字母来拼写，单词之间以下划线相连。6、类中的实例方法，应该把首个参数命名为self。7、类方法的首个参数，应该
2020-12-20 14:01:37
151
原创 栅格赋值矢量
栅格数据赋值矢量数据前段时间给老师写栅格数据赋值矢量的代码，要用到GDAL包，网上搜了一遍没有找到合适的，只在GDAL的一个参考文档中找到一个类似的代码Calculate zonal statisticsimport gdal, ogr, osr, numpyimport sysdef zonal_stats(feat, input_zone_polygon, input_value_raster): # Open data raster = gdal.Open(input_
2020-06-28 19:18:36
1965
原创 OGR坐标转换问题
OGR坐标转换问题之前使用OGR工具做坐标转换，一直没有问题，后来许久不用，再使用就出现无法转换的问题。第一个问题Linux与Windows环境下坐标顺序不同，上图。linux环境下windows环境下两个环境中创建点要素的坐标顺序不同，linux是经度、纬度，而windows是纬度、经度。如果相反，创建后再坐标转换会出现错误。（具体是什么原因，还没有去查，有空闲再看看）第二个问题。（这个问题之前一直没有注意）在Shapefile文件中读取的要素几何类型是带有空间参考的，而自定义的几
2020-05-23 17:29:49
823
原创 Hadoop入门采坑记（1）
Hadoop入门采坑记（1）近期做本科毕设需要用到Hadoop，刚接触Hadoop，遇到了不少问题，之后会一点一点在博客中记录这些问题和解决方法，这也是我个人遇到问题的解决办法，可能绕了弯路。（目前手里还没有截图，后续再更新）1. Hadoop本地开发jar包依赖在本地配置Hadoop开发环境，用了Hadoop 2.6的包，但是集群的运行环境是3.1.3，会产生一些问题。之后再本地搭建了Hadoop伪分布式环境，具体搭建方法参考网上，在这里我参考了《Hadoop权威指南》这本书。为了方便原有项目的开
2020-05-11 17:28:46
297
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人