CDDIS数据下载

Windows下用CURL搞定IGS-CDDIS数据下载,从注册到批量下载保姆级教程 本文提供Windows系统下使用CURL工具下载IGS-CDDIS数据的完整教程,涵盖Earthdata账号注册、CURL配置、批量下载及性能优化等关键步骤。特别针对GNSS数据处理需求,详细解析认证文件配置、高级批量下载方案和常见错误排查,帮助科研人员高效获取NASA卫星导航数据。 阅读详情
AI摘要

由于美国政府的安全规定,CDDIS不再通过未加密ftp提供数据,转而使用HTTPS和ftp-ssl。本文介绍了如何通过注册Earthdata账户,利用cURL和wget下载NASACDDIS的数据,特别是针对批量和遍历目录下载提供了bash和python的解决方案,确保了稳定高效的文件获取。

** 因美国政府安全要求不再允许CDDIS通过传统的未加密匿名ftp提供数据;该服务于2020年10月31日终止。所有数据仍然可用,但是必须通过HTTPS或ftp-ssl进行访问。**
在这里插入图片描述
NASA CDDIS分析中心给出了官方推荐的下载方式[推荐方式详情]:
在这里插入图片描述
首先你需要注册一个具有Earthdata的登录帐户:注册链接地址,记住自己的注册账户与密码。其中在使用cURL时,用户将需要创建一个.netrc文件,.netrc文件格式:

machine urs.earthdata.nasa.gov login [username] password [password]
  • 其中username和password是创建Earthdata登录帐户时设置的。

  • cURL在下载时登录时间过长,且当需要循环批量下载时重复登录也会浪费大量时间;

  • 经多次试验,循环批量单个文件下载时(如精密星历sp3文件/卫星钟clk文件/广播星历brdc/brdm文件/GNSS SLR DORIS的sinex文件等)使用wget方式下载;

  • 获取目录下遍历文件(站点观测rinex文件/VLBI的sinex文件等)使用lftp/wget方式下载。

1 单个文件下载:

需要特别注意的是wget版本需≥1.18,我使用的是ubuntu16.04,默认wget稳定版本是1.17,需要更新至较高版本:更新方式;以精密星历为例,user@163.com为注册邮箱:

wget --ftp-user anonymous --ftp-password user@163.com ftps://gdc.cddis.eosdis.nasa.gov/gps/products/2086/igs20863.sp3.Z

2 批量文件下载:

推荐使用bash/python,以年积日为循环生成文件名,计算GPS周以得到文件所在目录;
bash:

igsfile="igs${gpsweek}${doyofweek}.sp3"
if [ ! -f "${igsfile}" ]; then
    wget --ftp-user anonymous --ftp-password user@163.com ftps://gdc.cddis.eosdis.nasa.gov/gps/products/${gpsweek}/${igsfile}.Z
    uncompress ${igsfile}.Z
fi

python可采用subprocess等方式直接调用shell语言[调用方式参考]。

3 遍历目录下载:

使用lftp登录服务器之后,可以使用mget指令从服务器获取文件,其中mget指令可以使用通配符以实现遍历下载(以VLBI数据为例):

lftp -d -u anonymous,user@163.com -e 'set ftp:ssl-force true' -e "mget vlbi//ivsproducts/daily_sinex/ivs2017a/20*;exit" gdc.cddis.eosdis.nasa.gov

这是实验至今较为稳定的下载方式,配合bash中并行下载方式可快速大量的进行文件下载。
如有更快速的下载方式可私信或评论讨论。

GNSS数据自动下载脚本(使用CDDIS账号) GNSS数据自动下载脚本(使用CDDIS账号) 文章目录GNSS数据自动下载脚本(使用CDDIS账号)前言1.注册EARTHDATA账号2.使用前的准备工作3.脚本的使用总结 前言    由于CDDIS分析中心从2020年10月31日不再支持匿名的FTP下载,目前的数据下载只能通过HTTPS or ftp-ssl,并需要事先注册EARTHDATA的账号。因此之前的数据下载脚本无法再使用,本文使用python重新撰写了相关下载脚本。可以支持MGEX观测文件、导航星历、精密轨道与钟差、DCB、IGS的erp 阅读详情

相关推荐

Windows下用CURL搞定IGS-CDDIS数据下载:从注册到批量下载的保姆级避坑指南

本文提供Windows系统下使用CURL工具高效下载IGS-CDDIS数据的完整指南,涵盖账号注册、CURL配置、认证设置及批量下载技巧。特别针对GNSS数据处理需求,详细解析单文件和多文件下载方法,包括错误处理和性能优化策略,助力科研人员快速获取全球卫星导航系统数据。

weixin_33730836的博客 795

CDDIS网站下 GNSS 相关的数据产品下载+命名方式解读+文件格式说明文件下载地址

有关GNSS的数据文件的下载地址、命名方式介绍。

一些笔记 3万+

从FTP到FTPS:NASA CDDIS数据下载政策变迁与我们的技术应对

本文探讨了NASA CDDIS数据下载政策从FTP到FTPS的变迁及其技术应对策略。随着网络安全需求的提升,CDDIS终止了匿名FTP服务,转向更安全的FTPS协议。文章详细介绍了现代下载工具链的技术选型、批量下载工程实践以及大规模数据获取的进阶技巧,帮助科研人员适应新的数据获取环境。

weixin_29204121的博客 99

CDDIS GNSS 数据批量下载

下载并配置curl,细节可以完全按照这个来做(验证过可行) https://blog.youkuaiyun.com/httpsea/article/details/105804223 PS: _netrc文件里面machine urs.earthdata.nasa.gov login <username> password <password> 这一步的时候记得要把<>去掉 到了批量下载这一步的时候,经过测试,cddis给出的几个范例虽然可行,但是并没有讲怎么样批量下载在不同.

weixin_42623330的博客 1783

CDDIS数据下载新规与高效脚本实践指南

本文详细解读了CDDIS数据下载新规,并提供了高效脚本实践指南。针对FTP服务停用后的HTTPS和FTPS加密传输,分享了注册Earthdata账户、配置.netrc文件等关键步骤,以及wget、curl和lftp等工具的性能对比与优化脚本编写技巧,帮助研究者高效获取GNSS和SLR数据。

weixin_32745665的博客 235

Windows平台CURL自动化批量下载IGS-CDDIS GNSS数据实战

本文详细介绍了在Windows平台上使用CURL工具自动化批量下载IGS-CDDIS GNSS数据的实战方法。从账号注册、CURL安装到环境变量配置,再到单文件下载和批量下载的高级技巧,全面解析了如何高效获取GNSS观测数据。通过编写批处理脚本和设置定时任务,可实现全自动数据下载,大幅提升科研工作效率。

weixin_30772105的博客 536

GNSS数据下载网址

提供GNSS主要的数据下载地址和数据格式说明文档地址

qq_43381998的博客 4804

RTKLIB数据下载保姆级攻略:从CDDIS到武大IGS,手把手搞定所有必需文件

本文提供RTKLIB数据下载的完整指南,从CDDIS到武大IGS中心,详细解析GNSS数据处理所需的五大核心文件获取方法。涵盖观测值文件、导航电文、精密星历等关键数据,并分享2023年最新数据源变化和实用技巧,帮助用户高效搭建GNSS数据处理环境。

weixin_42542669的博客 400

CDDIS数据下载指南

最近需要大量使用广播星历,对IGS数据下载网页进一步熟悉。 网址收藏如下 CDDIShttps://cddis.nasa.gov/Data_and_Derived_Products/GNSS/RINEX_Version_3.html IGS NETWORKhttp://www.igs.org/network ...

MatrixTao 3027

告别手动点击!用CURL+环境变量搞定IGS-CDDIS数据下载(Windows 10/11保姆级教程)

本文提供了一份详细的Windows 10/11教程,教你如何使用CURL命令行工具和环境变量配置实现IGS-CDDIS数据的自动化下载。通过设置_netrc认证文件和系统环境变量,科研人员和工程师可以轻松获取GNSS观测数据,大幅提升工作效率并集成到数据处理流程中。

weixin_30664051的博客 409

GNSS数据下载别再迷路了!手把手教你用Python脚本自动抓取CDDIS、IGS等主流数据源

本文详细介绍了如何使用Python脚本自动下载GNSS数据,涵盖CDDIS、IGS等主流数据源。通过智能链接检测、多协议下载器和断点续传机制,实现高效自动化流程,特别针对北斗三号数据抓取提供实战案例,帮助科研工作者大幅提升数据获取效率。

weixin_27298377的博客 327

GNSS-SINEX文件格式简介

背景 SINEX (Solution INdependent EXchange Format) 是大地测量学界标准的数据处理成果文件格式。该文件格式最早由 IGS 提出,之后陆续被 ILRS 和 IVS 等组织采用并丰富。现用于发布 国际地球自转与参考系统服务(IERS)、国家激光测距服务(ILRS)、国际 GNSS 服务(IGS)、国际 DORIS 服务(IDS) 和 国际 VLBI 服务(IVS) 等生产的各种数据处理产品,如 ITRF 地球坐标参考框架,各基站坐标、速度与震后形变参数,地心和地球自转参

小马甲的新马甲 8680

ESP32水墨屏日历实战:低功耗自动更新与HTTPS数据解析

本文详细介绍了ESP32水墨屏日历项目的开发实践,重点讲解了低功耗自动更新与HTTPS数据解析的实现方法。通过ESP32的自动休眠功能和水墨屏的零功耗特性,结合HTTPS请求安全获取网络数据,实现了高效节能的桌面日历应用。项目代码开源,适合物联网开发者参考。

xx56789的博客 777

119-从CDDIS下载数据

可以登陆从CDDIS下载数据,如图: 可以下载的数据类型: 长文件名或短文件名观测文件; 星历文件仅支持brdm; 图片所示分析中心的产品及天线文件和dcb文件; 下载的数据会自动解压转换为相应类型; 已知bug: 下载可能会进入假死状态,即出现未响应的状况,不用担心,他正在工作; 用户名或者密码错误时,可能会在日志文件中提示下载某些文件失败,请检查你的登陆信息是否正确; 不美观的status bar; 下载文件的情况可能会跟你想的不一样: 下载erp及snx,不仅仅下载周解文件,回吧选定日

学问思辨行 1823

光谱数据计算CIE值(三刺激值、CIE1931、CIE1976、CCT)软件

软件界面如下,免安装,拷贝即可使用 导入光谱数据即可计算三刺激值、CIE1931、CIE1976、CCT CIE1931、CIE1976色坐标图形只管显示 导入的光谱数据格式如下,txt文本 波长380到780,间隔1nm 注意:缺省的数据默认写0即可 下面为一些CIE相关介绍: CIE(国际发光照明委员会):原文为Commission Internationale de L’Eclairage(法)或International Commission on Illumination(英)。这个委员会创

业余程序员小徐的博客 2万+

dell r630 配置raid_DELL服务器RAID配置图文教程

名称解释:Disk Group:磁盘组,这里相当于是阵列,例如配置了一个RAID5,就是一个磁盘组VD(Virtual Disk): 虚拟磁盘,虚拟磁盘可以不使用阵列的全部容量,也就是说一个磁盘组可以分为多个VDPD(Physical Disk): 物理磁盘HS:Hot Spare 热备Mgmt:管理【一】创建逻辑磁盘1、按照屏幕下方的虚拟磁盘管理器提示,在VD Mgmt菜单(可以通过CTRL+P...

weixin_33253741的博客 3510

新版IGS-CDDIS下载GNSS数据——CURL版 on Windows

文章目录文章目录一、用户注册二、数据下载软件CURL的安装及配置三、配置环境变量四、下载数据五、下载多个文件六、参考文献 文章目录 一、用户注册 打开英文官方主页为:https://cddis.nasa.gov/Data_and_Derived_Products/CDDIS_Archive_Access.html Figure 1 IGS-CDDIS官方主页 点击上图中红框中Earthda...

httpsea的博客 8414

如何使用ArcGIS自动矢量化建筑

在显示的重分类对话框内,输入栅格选择提取单波段后的栅格,重分类分为三个层级,旧值分别为100-249、250-251和252-255,对应新值为1、2和3,旧值的最小和最大值不用修改,保持和原有的一致。同样在ArcToolbox内点击Spatial Analyst工具点击“重分类\重分类”,在重分类对话框内输入栅格选择之前重分类过后的图片,将旧值3的新值设置为1,这样分类后就只有两类。在显示的新建Shapefile对话框内,名称命名为折线,要素类型选择折线,点击编辑,设置坐标系为WGS 1984。

2165

新版IGS-CDDIS下载GNSS数据——CURL版数据不能正确解压

最新版的CDDIS数据需要实名注册才能下载,官网上提供了许多方法,其中CURL详细教程方法可以批量下载文件,功能最为强大。笔者按照CURL详细教程操作时发现,下载的数据不能正确解压。研究一番后,原来是.netrc没有正确调用,只需要用–netrc-file 命令才能正确下载数据,其中是你的.netrc完整路径。 下面展示我能成功下载的一个示例: curl -c .cookie -n --netrc-file D:\curl\.netrc -L -O "https://cddis.nasa.gov/arch

litao_2020的博客 1279

KEPServerEX物联网网关(IoT Gateway)REST客户端代理(非原创)

(中文版)资料来源于【OPC-KEPServerEX学习KEPWare交流】905485143群的【455196383】【零下一度】 一。KEPServerEX物联网网关REST客户端代理演示 在KSE中,首先构建一个带有通道/设备/标签的模拟器系统。 例如,下面是三个随机项目。 直接到IoT网关插件,添加新代理。 从类型列表中选择REST Client。 终结点...

-雲飛兄-博客 5808

鸿蒙接入微信支付 微信H5网页在鸿蒙系统的适配方法(含支付兼容方案) 微信H5适配鸿蒙系统 | ArkWeb识别 | 鸿蒙浏览器UA | 微信支付鸿蒙适配 | 鸿蒙微信判断方式

微信H5网页鸿蒙系统适配指南 针对微信H5网页在鸿蒙系统出现的兼容问题,本文提供完整适配方案。关键点包括: 环境识别:

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用,接口、架构、性能全搞定。 1300

CDDIS 天顶总延迟(ZTD)数据下载教程

NASA 的是全球最权威的 GNSS 派生对流层产品(ZTD、ZWD、ZHD)数据中心之一。它存储 IGS、MGEX 等分析中心的对流层延迟产品,适合 GNSS 气象研究。

jihdwudg_的博客 593

SAP Fiori Launchpad Tile,UI5 应用,和 PFCG Role 的对应关系

问题:已经看到了SAP Fiori Launchpad上的某个tile,如何反推后台需要配置哪个PFCG Role才能看到该tile? 这个问题是今天一个朋友在微信上问我的。因为我最近忙着学习一个新的SAP产品,所以这个问题也没有时间展开来写,本文就只做概要介绍。 下图是一个Gateway系统上打开的SAP CRM Fiori Launchpad: 如何弄清楚后台用户配置了哪个PFCG Role之后,才能看到Sales Representative(CRM)这个Group下的tile? 既然当前我使用的用

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 1520

利用Python自动在CDDIS上下载GNSS数据(观测值、广播星历,电离层格网数据)

我们在做GNSS数据处理和分析的时候,难免会用到很多天甚至几年的GNSS数据,如果一个一个下载的话未免过于麻烦,因此博主利用Python写了一个较为简单的下载数据的程序,简单调试一下就能实现自动下载啦。

十八与她的博客 3099

【异常】came as a complete surprise to me,IllegalArgumentException: The template string is not valid.

是Spring AI中用于生成提示词(prompt)的一个类。提示词对于与大语言模型交互至关重要,因为它们指导模型生成特定类型的响应。允许开发者创建包含占位符的模板字符串,并通过提供具体的值来填充这些占位符,从而动态地生成个性化的提示词。

奶爸的编程之路,也就一周冷个三天 748

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

保姆级教程:RTKLIB数据下载不求人,从CDDIS到IGS数据中心全搞定

本文提供RTKLIB数据获取的完整指南,从CDDIS到IGS数据中心的详细下载流程,涵盖观测值文件、导航电文等核心必备文件,以及精密改正文件的获取方法。帮助用户高效获取GNSS数据,提升RTKLIB处理精度,特别适合GNSS数据处理初学者和专业人士。

weixin_33721344的博客 353

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

下一篇: ubuntu20.04安装gfortran-6/libgfortran.so.3
AMST_J
博客等级 码龄7年 36粉丝 4原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值