- 博客(26)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 PO.DAAC数据下载
Ocean Color 或者 PO.DAAC 数据下载由于直接从Ocean Color 或者PO.DAAC 网页下载数据时，网络经常会中断，甚至速度很慢。本文介绍一个方法，当然也是官方提供的，通过Linux命令下载的方式。首先访问https://podaac.jpl.nasa.gov/，搜索找到你想要下载的数据，我这里以MODIS的Level 3产品为例。在"Data Access"一栏可以看到这个产品下载的网址在"Web Service"中。另外，在"Information"一栏中可以找到产品的简称 (
2021-12-18 10:45:53
2703
1
原创 如何解决警告InsecureRequestWarning: unverified HTTPS request is being made to host
警告InsecureRequestWarning: unverified HTTPS request is being made to host下载数据的时候经常会遇到这个警告，虽然不影响使用，但看起来也很糟心，特别是你的console控制台出现一大堆英文提示覆盖了有效的信息时，本人决定到官方所给的网站去探寻一番。官方的说明如下PoolManager 这个类为每一个 Post 自动创建处理ConnectionPool 实例，默认最大的ConnectionPool 为10个，如果你有很多的请求，你需要去
2021-03-17 11:31:08
41651
2
原创 IDL 创建HDF5文件
IDL 创建HDF5文件，chunksize用过IDL的朋友们应该有这么一个感受，IDL在读写HDF/NetCDF 的时候比较繁琐，代码一行一行很多，并且很多时候不知道如何根据自己的需求查找对应的函数/方法，让人头疼。本博主在这里分享一波IDL创建HDF5文件的经验，并支持分块读写，供大家参考。; 首先给定文件的目录 file_path = "C:\Users\dell\Desktop\hdf5_out.h5"; H5F_CREATE 创建一个HDF5文件，返回一个文件识别码fid fid = H
2021-01-14 15:36:41
635
原创 ERA5数据批量下载-多进程
本人之前的博客中介绍了批量下载ERA5数据的方法，在这里再此对方法进行优化，采用多进程下载。采用的Python 的Multiprocessing。可以根据需求选择相应的参数、空间范围、分辨率、时间等等。__author__ = "LNH"import cdsapiimport numpy as npimport calendarimport os from multiprocessing import Processdef download(c, var, year, month, da
2020-11-21 12:53:23
2320
12
原创 重写代码，解决tensorflow2.x中的ValueError: Tried to convert ‘shape‘ to a tensor and failed. Error: None value
tensorflow1.x和2.x之间差别很大，本人在用rensorflow2.1.0-GPU 运行RCNN-Masked时候出现ValueError: Tried to convert ‘shape’ to a tensor and failed. Error: None values not supported.这个错误。 通过在tensorflow base_layer.py 中修改部分源码或许能帮助解决这个问题。from tensorflow.python.keras.utils.generic_
2020-10-30 15:56:44
4594
6
原创 IDL快速计算局部标准差——卷积方法（矩阵运算）
矩阵运算，局部标准差！IDL这个语言中常规计算局部标准差的方法都是采用双循环的方式，本人提出一种矩阵计算得到不同尺寸的“滑块”的标准差（3×3、5×5、7×7等都可以实现），话不多说直接上代码，代码中有详细的说明注释。下面的函数是用来计算局部标准差：FUNCTION uniformity_convol_method, raw_data, filter_h, filter_w, invalid_value;raw_data 是原始的二维数组;fileter_h 是滑块的高度;filter_w 是滑
2020-10-30 15:08:28
1590
5
原创 正则表达式获得指定的文件路径
正则表达式提取文件需要的文件利用Python 正则表达式来提取 *.gz后缀的文件。本人写了一个类用于读取文件import osimport numpy as npimport gzipimport reimport argparseclass function(object): def __init__(self): self.path = "xxx" self.cond = "xxx" def load
2020-10-30 14:56:55
3033
2
原创 ERA5数据批量下载
欧洲数值预报中心-ERA5数据下在本文提供了一个下载ERA5-land hourly data 的示例import cdsapiimport numpy as npimport calendarimport os# define directory in which data shall be storedos.chdir("F:/era5")#账号的url\uid\keyc = cdsapi.Client(url= "https://cds.climate.copernicus.eu
2020-07-28 10:33:41
3509
13
原创 Python网络爬虫验证码识别
本文主要利用tesseract识别网页登陆中的验证码（从图像的角度，不是Cookie）很多人对CAPTCHA（验证码）很熟悉，但是很少有人知道其含义：全自动区分计算机和人类的图灵测试。通俗的讲就是是一种区分人和人工智能程序的方法。很多的网页都设置了验证码，常见的就是由“字母数字”组成的图片，如下：本文的代码是利用selenium模拟浏览器的运行，识别登陆界面的验证码，分割验证码的区域然后识别...
2020-04-30 20:46:01
672
3
原创 绘制AUC ROC 曲线 计算混淆矩阵
绘制AUC ROC 曲线 计算混淆矩阵准确率召回率曲线，曲线下面积等是机器学习中常用来检验模型的标准，话不多说，直接上代码。# -*- coding: utf-8 -*-"""Created on Fri Apr 10 23:36:57 2020@author: dell"""import h5pyimport numpy as npimport matplotlib.pypl...
2020-04-30 20:15:23
1177
1
原创 卷积神经网络进行个人信用评估
利用tensorflow的keras搭建了一个卷积神经网络，训练模型进行评估懂行的人自己看首先要将数据进行归一化处理，训练后的准确率可以达到70%，采用了一些已知过拟合的方法，BatchNormalization、Dropout、权值衰减等。# -*- coding: utf-8 -*-"""Created on Fri Apr 10 16:06:20 2020@author: de...
2020-04-30 19:56:21
1185
1
原创 Pyinstaller 打包.exe显示failed to execute script 或者failed to execute script pyi_rth_pkgres
出现“failed to execute XXX script”有可能是因为你的视频或者图片等资源设置为了绝对路径，你需要将其修改为相对路径，特别是是pygame需要的资源如图片音乐等pyinstaller是不会给你打包的，需手动加入。 解决办法： 将你所需要的资源如图片音乐等文件与exe放在同一目录下，运行exe就不会出错了字体的原因，打包后的.exe执行文件无法找到你所设...
2020-04-20 21:45:38
6517
3
原创 IDL 一种用来快速优化“云检测”速度的方法
利用im2col提高云检测的速度常规的“云检测”在计算“滑块”的标准差的时候都是采用双重循环的方式，逐行逐列的进行计算，这样会导致速度很慢。本人提出一种快速计算矩阵“滑块”标准差的方法。需要读者首先掌握im2col方法：https://blog.youkuaiyun.com/luqialiu3392/article/details/105352620;im2col函数FUNCTION fun_co...
2020-04-06 23:04:40
768
2
原创 IDL im2col和col2im方法
IDL im2col和col2im函数示例本人在卷积神经网络的卷积层、池化层的im2col和反向传播的col2im方法上有所启发，考虑到IDL本身并没有im2col和col2im函数，于是编写了相关的IDL函数。话不多说，直接上代码！1. im2col;input_data: 由(高, 长)的2维数组构成的输入数据;filter_h: 滤波器的高;filter_w: 滤波器的长;str...
2020-04-06 22:29:38
728
1
原创 Python where()函数与IDL where()函数的比较
Python where()函数与IDL where()函数的比较本人最近对python的where函数产生了一些疑问，因为它和IDL中的where函数不太一样，本文主要就两种语言的where函数进行简单的比较。1 . Python 的where函数在多条件下的判断import numpy as np#首先创建两个非常大的随机数组用来做测试A = np.random.randn(100...
2020-03-25 12:07:01
557
1
原创 IDL稀疏矩阵的实现
IDL快速构造系数矩阵提高运算和读写速度实际上系稀疏矩阵的定义并不明确，因人而异。在矩阵中，若数值为0的元素数目远远多于非0元素的数目，并且非0元素分布没有规律时，则称该矩阵为稀疏矩阵。具体的概念及定义可以参考下面的链接：https://blog.youkuaiyun.com/yhb1047818384/article/details/78996906稀疏矩阵的构建标准的线性代数技术在处理系数矩...
2020-03-21 00:55:28
626
2
原创 MODIS冰雪数据批量下载
MODIS冰雪数据批量下载之Python Script相信有很多的朋友在研究极地（南北两极）的冰雪吧，下数据可能对于某些大小同行来说是一个头疼的问题，本文在这里就介绍一种批量爬取数据的方法。数据下载地址美国冰雪数据中心 https://nsidc.org/结合自身的例子给大家分享一下，其实很简单的哦！第一步：登录美国冰雪数据中心的网站，打开你要下载的数据的页面，点击“Download...
2020-03-17 23:39:15
5083
原创 Ocean Color数据批量下载——海洋物理分布式活动档案中心PO.DAAC
NASA——PO.DAAC海洋遥感数据下载2019年6月3日起，PO.DAAC不再提供FTP下载服务，改为HTTPS或者脚本的下载方式，之前用户熟悉的FTP下载方式已经停止。下面的网址是一些具体的说明：PO.DAAC停止FTP服务的相关说明https://podaac.jpl.nasa.gov/announcements/2019-06-03_REMINDER-PO.DAAC_FTP_SE...
2020-03-14 17:57:41
3775
18
原创 MODIS数据批量下载之wget
MODIS批量数据下载——wget自2018年4月20日起，NASA已经禁止用户通过FTP的方式下载数据，但是有很多用户不熟悉Python script下载方式，本文介绍一种批量下载MODIS数据的途径——wget。首先登陆LAADS DAAC的网站https://ladsweb.modaps.eosdis.nasa.gov/search/选择一个你需要的产品，在这里我选择MOD021...
2020-03-13 22:43:42
7463
31
原创 Python netCDF4的Dataset中文字符出错的问题
NC文件的路径中存在中文字符的解决办法我使用netcdf4打开nc文件。 但是在文件路径中，有中文字符，并且netCDF4.Dataset返回错误：“无此文件或目录”。 但是，如果我使用“ os.path.isfile”，则会找到该文件。 我试图解码，编码（在utf-8中）但是仍然找不到路径。 我的错误如下：[Errno 2] No such file or directory: b'H:/L...
2020-03-11 12:01:50
3769
原创 Python 二进制转码的问题
Python 的二进制转换Python 语言的语法简单快捷，但是转码/编码的总让人头痛不已，特别是涉及到文件是二进制的情况下，本人在用Python读取二进制文件的时候遇到了不能转换的问题，c查阅了许多网站，无论是大家建议的encode/decode，还是python 内置的转换方法都不能达到我想要的结果。我无意之中在stack flow上面找到了一个函数 bytearray()，可以实现将 \...
2020-03-11 11:38:08
1470
1
原创 Python读取netCDF中的group/组中的变量
netCDF group中变量的读取网络通用数据格式netCDF的广泛使用已经成为一种趋势，读取其文件中的变量已经有很多的示例，本篇介绍一种读取NC文件中 group中的变量及其属性。 with Dataset( path_str ) as f: geophysical_data = f.groups["geophysical_data"] #获取grou...
2020-03-10 19:57:57
2877
4
原创 利用IDL 绘制地图，以海表温度为例
本篇介绍IDL设置地图的方法，和一些常用的关键字、对象。代码如下IDL 8.5版本PRO draw_sst, data, name_string, color_table, scale, offset ;这是我的一个函数 temp = data[*, *, 0] index_valid = WHERE(temp LE 250, count_valid) min_value = R...
2020-03-10 19:33:39
2915
1
原创 IDL 自定义colorbar
IDL在colorbar的基础上自定义颜色IDL自带的色板很丰富，但并不能满足复杂的需要，当你要将一些特殊的值标记为某个固定的颜色的时候，就要用到本文介绍的方法。下面是IDL 的一段代码我的版本是 IDL8.5PRO color_set loadct, 34 ;载入一个自带的colorbar TVLCT, r, g, b, /get ;获取其R\G\B分量 color_tab...
2020-03-10 19:23:40
2728
原创 Python 在自带colorbar的基础上自定义颜色
Python 在自带colorbar的基础上自定义颜色python 拥有众多的色彩设置，但有时候并不能满足作者的需要，因此本文介绍了一种在原有的colorbar的基础上，设定自己颜色的方法。带尺寸的图片: 居中的图片: 居中并且带尺寸的图片: 当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。如何插入一段漂亮的代码片去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮...
2020-03-10 18:31:07
7401
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人