python调用IE浏览器进行数据批量下载小技巧

Python调用IDM批量下载GOCI数据 阅读详情

一、为什么要使用浏览器下载?

使用场景:已经有了大量的数据下载链接信息,这些保存在txt文本中,每一行是一个完整的下载链接地址,很多人首先就会想到,直接使用迅雷批量下载就好了,确实如此,这也是最简单的办法。然而问题在于需要下载的这些资源需要代理网络才能下载,迅雷不能直接顺利下载下来。迅雷软件其实也提供了代理设置,如下图:

然而设置代理的时候都不能生效,依旧不能正常下载资源,因此,考虑使用python调用浏览器进行数据下载,前提是所使用的浏览器能够正常使用代理,从而顺利下载资源。

有同学也会说使用python做脚本下载,使用脚本批量下载,当然也是可以的,但是会复杂一些。

二、python调用浏览器打开资源自动下载

使用浏览器是IE浏览器

代码如下:

import os
import time
#from selenium import webdriver   #导入selenium包

f=open("C:/Users/RS/Desktop/数据下载链接.txt","r")  #txt文件中每一行是完整的下载链接地址
line=f.readline()

def sleeptime(hour,min,sec):
	return hour*3600 + min*60 + sec
second=sleeptime(0,15,59)        #这是根据文件下载完成的平均之间设置较好
while line:
    print(line)
    command1 = '"C:\Program Files\Internet Explorer\iexplore.exe" %s' % line  #启动IE浏览器 IE11.0
    #driver = webdriver.Firefox()#初始化浏览器实例driver,默认浏览器安装位置,若自定义浏览器安装位置,可定制
    #driver.get(line) #报错Unable to find a matching set of capabilities
    #driver.quit()  #注释部分是调用火狐浏览器,之前试过失败了,有点问题!
    os.system(command1)
    time.sleep(second)
    line=f.readline()
f.close

代码总体比较简单,运行之后会打开浏览器进行下载,记得将浏览器下载地址提前配置好,并且取消弹出选择路径窗口。

需要注意的几个地方:

1.下载间隔时间不能过短,不然一下次多次链接下载资源会被服务器临时拒绝访问。

2.打开浏览器下载后,浏览器下载查看窗口中有一个保存按钮,可以直接点击,也可以后面一次性点击,记得点击保存(实际上数据已经在后台下载缓存下来了,刚弹出来就点击可以看到下载进度)为了实现批量下载,实际上只要过一段时间一次性点击保存一下就行了。

3.IE浏览器不支持断点续传,资源数据比较大的情况容易中断,就会比较麻烦了,火狐浏览器支持断点续传。

Python爬虫批量下载文献 最近在看NeurIPS的文章,但是一篇篇下载太繁琐,希望能快速批量下载下来。 于是想到了之前一直听说的python爬虫,初次学着弄一下。 参考了python爬虫入门教程:Python爬虫入门教程:超级简单的Python爬虫教程; 用到了requests,BeautifulSoup,urllib.request包 先放最终运行的程序: 结果程序 import requests import pandas as pd from bs4 import BeautifulSoup from urllib.r. 阅读详情

相关推荐

ECMWF等大气数据批量下载(Python API)详细步骤

ECMWF等大气数据批量下载(Python API) 遥感方向做热红外温度反演,不可避免的要用到大气廓线数据,大气数据具有实时性,比如2018年9月1日的早上8点的影像,为了提高反演精度就需要用到时间上与其相差尽可能接近的大气数据,用于消除大气的影响,如果数据量较少我们可以查看影像的时间和空间范围进行下载,但是如果处理某个较大区域时可能涉及到大量的影像,如果一景一景对应查找去下载会很麻烦,因此针对大量数据的自动批量下载很有必要。本文根据 https://cds.climate.copernicus.eu/#

liuxiaojiangtobeno1的博客 1万+

Python:初步完成IE浏览器的查询、点击和文件下载

前言:公司内部oa和取数系统很渣,为了安全性不支持mysql链接,也不支持chrome,所以selenium不能用,必须每天手动取数。之前接触了PyMouse和PyKeyboard,想试下是否可以完成自动化取数。初步实现了,但是还存在很多问题,主要如下: 1、如果要打包给别人用,需要个性化多个部分:电脑用户名、浏览器路径、文件名等; 2、对于网络速度有要求,如果在等待时间内下一个网页无法弹出来(或...

Cyber的博客 2279

python 批量下载 GPM 数据

前期准备: 我是从 GES DISC 下载GPM数据,首先是注册账号,这个就不用说了。然后,注意按说明获取授权,这个教程很详细啦,不再过多介绍。 下载过程: 1. 手动下载 list of links。选择你要下载的数据时间范围、区域、等等,然后下载包含所有下载连接的 txt 文件。 2. 在用户目录(windows,linux为根目录~)创建 .netrc 文件, 内容就是自己的账号和密码 .netrc 文件的内容: machine urs.earthdata.nasa.g..

小小学渣的博客 3607

python爬虫 selenium+Autolt 实现IE网页中的文件下载

Local $pathToSave=$CmdLine[1]; get the handle of main windowLocal $windHandle= WinGetHandle("[Class:IEFrame]", "")Local $winTitle = "[HANDLE:" & $windHandle & "]"; Select save as optionWinActi...

fcd_abc的博客 4056

python Selenium调用 IE/GoogleChrome/Firefox浏览器驱动的方法及下载地址

目录 三大浏览器驱动driver下载地址 注意: 启动谷歌浏览器 启动火狐浏览器 启动IE浏览器 三大浏览器驱动driver下载地址 1.chromedriver 下载地址:https://code.google.com/p/chromedriver/downloads/list 2.Firefox的驱动geckodriver 下载地址:https://github.com/mozilla/geckodriver/releases/ 3.IE的驱动IEdri

信息安全领域优质创作者|操作系统领域专家 2469

银河麒麟系统V10 sp1,安装wine 9.0

银河麒麟系统V10 sp1 x86_64,安装wine 9.0

daqinzl的专栏 1万+

Python Selenium 各浏览器下载到特定文件夹方法总结

selenium更改下载目录方法总结

花小田的魔法屋 5067

解决turmex安装kali报错问题

在手机上安装好turmex后,都喜欢安装一个Linux系统,我当时安装的时kali,但是安装过程中,报错不断。 2019.8.24更新 1,出现问题首先看下载kali源文件是否完整 安装步骤中,会显示[解压中.....] ,可以看到解压的大小。 如图所示,完整源文件不小于81M。 如果源文件过小,则说明下载错误,而且在remove kali这个命令下,是不会删除源文件的,下一次安装只...

WeiLuckyStrike的博客 1万+

python调用游览器下载文件

1.查看游览器版本 2.下载chrome 游览器驱动 地址:http://chromedriver.storage.googleapis.com/index.html 3.驱动放置 chrome 安装路径 4.编写代码读取url,调用chrome下载文件 import os import sys import time from selenium import webdriver browser = webdriver.Chrome(‘C:\Users\Conan\AppData\Local\Goog

Conan_ft 1447

第零章 序 Chisel教程汇总

笔者目前西安交通大学微电子硕士在读,研究方向为数字集成电路设计与体系结构。鉴于目前RISC-V的火热程度,笔者参与了课题组的RISC-V项目,并了解、学习了颇受关注的新型硬件构建语言——Chisel,当前参与的神经网络加速器设计便是使用Chisel开发的。这是一门敏捷开发语言,据称要比传统的Verilog语言快很多。在亲身使用过后,笔者发现确实快了不少。这主要得益于Scala作为高级语言的简洁风格...

qq_34291505的博客 7万+

霍尔电流传感器在新能源汽车中的应用综述

本文旨在全面剖析霍尔电流传感器在新能源汽车领域的应用现状、技术挑战及发展趋势。通过系统梳理其在电池管理系统、电机控制、车载充电等核心系统的应用场景,深入分析面临的技术瓶颈与创新解决方案,并基于最新技术动向展望未来发展方向,为相关领域的技术创新提供参考依据。

m0_46819860的博客 2265

用PYTHON搭建简易文件共享WEB服务器(支持上传和下载)

作为很多地方都介绍过的,python自带的SimpleHTTPServer,只需要一个命令就可成为一个web服务器,可以实现文件的共享(下载)功能。 一个命令:python -m SimpleHTTPServer 默认就会监听0.0.0.0:8000,其输出信息中有 “Serving HTTP on 0.0.0.0 port 8000”等。 然后,用浏览器打开 http://server_ip:8000/ 的 URL 即可看到一个web页面展示着启动的目录下各个文件。 当然,你想换个端口(假设8888),命

xiaoxianerqq的专栏 7628

Python3实现基于ARIMA模型来预测茅台股票价格趋势

ARIMA(Autoregressive Integrated Moving Average)模型是一种广泛使用的时间序列分析方法,它可以用于对未来的数据进行预测。ARIMA模型由自回归模型(AR模型)、差分整合模型(I模型)和移动平均模型(MA模型)组成,因此也被称为ARIMA(p,d,q)模型。其中,p表示自回归阶数,d表示差分阶数,q表示移动平均阶数。具体来说,ARIMA模型可以通过以下步骤进行建模:数据预处理:对时间序列进行平稳性检验,如果不满足平稳性,则进行差分操作。

m0_64336780的博客 2万+

利用Python调用ECMWF欧洲中心API批量下载数据

       前段时间由于需要下载ECMWF(欧洲中期天气预报中心)的再分析数据,学习了如何利用Python调用ECMWF欧洲中心API进行批量下载。这种下载ECMWF数据的方法在官网上有非常详细的介绍。我只是对这种下载数据的方法进行小结,其中包含在这过程中遇到的一些小问题,以及一些解决方案。希望互相学习,共同提高。   相关链接: (1)详细的步骤: https://software.e...

zhanglinqi_007的博客 2万+

深度学习与西储大学轴承数据集(一)

西储大学数据集介绍

weixin_50642818的博客 1万+

极验点选click3.1.0所对应fullpage.js的逆向分析

极验3代点选验证,本文适用于使用click.3.1.0.js和fullpage919-eyz9lh.js版本的web验证码,没有细节内容,适合有基础的开发者阅读。

shanf7921的博客 652

python接管已经打开ie浏览器_Selenium+Python浏览器调用:IE

IE浏览器调用IE浏览器驱动添加这里我用的是IEDriverServer_Win32_2.43.0.zip,下载后解压,把IEDriverServer.exe放在python安装目录,与python.exe在同一目录下,即可调用.IE浏览器的调用#coding=utf-8from selenium importwebdriverdriver=webdriver.Ie()url='http://ww...

weixin_39953845的博客 1772

跨平台C#上位机开发:.NET MAUI与工业物联网的融合实战

NET MAUI正在重塑工业上位机的开发模式——从“为单一设备定制”转向“全场景覆盖”。其价值不仅在于“代码复用”,更在于打通了工业物联网的“最后一公里”:让边缘设备、云平台、移动终端通过统一的数据模型协同工作。未来,随着.NET MAUI对WebAssembly的支持(计划在.NET 9实现),上位机甚至可直接运行在浏览器中,进一步降低部署门槛。对于工业开发者,掌握跨平台技术意味着能更快响应多样化的现场需求,从“Windows专家”升级为“全栈工业开发者”。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1093

python打开ie浏览器_python-IE浏览器调用

IE浏览器驱动添加这里我用的是IEDriverServer_Win32_2.43.0.zip,下载后解压,把IEDriverServer.exe放在python安装目录,与python.exe在同一目录下,即可调用.IE浏览器的调用#coding=utf-8from selenium import webdriverdriver=webdriver.Ie()url='http://www.baid...

weixin_39622891的博客 2879

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

selenium调用IE浏览器

1.下载IE驱动 查看selenium版本号:pip show selenium Name: selenium Version: 3.141.0 Summary: Python bindings for Selenium Home-page: https://github.com/SeleniumHQ/selenium/ 下载对应版本号的IE驱动,https://selenium-release.storage.googleapis.com/index.html 2.将下载好的驱动加入环境变量

u010244522的博客 4317

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

用Python调用迅雷实现后台批量下载

迅雷9、10实测可用,老版本迅雷应该也可以用,不推荐迅雷极速版   写在前面 最近在学习python的网络爬虫,想要爬取某个网站上的上百万条链接,批量下载链接所指向的图片、文档、视频等内容。大部分的小文件,比如图片和文档,利用requests模块可以轻松实现,但是对于视频等大文件而言,requests并不是那么可靠,可能会发生下载不完全,乱码等情况,这种时候就需要更加可靠老练的下载器。对于国...

aRooooooba的博客 2万+

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

selenium 调用 ie 浏览器以及数据数据过慢问题解决

使用 selenium 输入内容过慢问题 使用 selenium 调用 ie 浏览器出现输入框输入数据过慢问题 原因分析: 使用 IEDriverServer.exe 版本为 64 位的原因 将 IEDriverServer.exe 版本换为 32 位即可 使用 selenium 调用 ie 浏览器 1,下载 IEDriverServer.exe IEDriverServer.exe 提取码:sx8h 2,将 IEDriverServer.exe 放置到合适位置 将 IEDriverServer.exe 放

jueji2020的博客 1276

【Python&RS】基于Python批量下载哨兵二号数据

使用Python和IDM批量下载哨兵二号数据

Remote Sensing迷途小书童 4706

python怎么批量下载年报_使用Python批量下载Wind数据库中的PDF报告

原标题:使用Python批量下载Wind数据库中的PDF报告背景最近小编出于工作需要,准备在Wind金融数据终端批量下载上市公司2019年第一季度业绩预告。通过相关的条件检索,发现其相关数据有近百条。由于Wind金融数据终端目前并不支持批量下载公司公告(只能逐个点击链接后下载pdf格式的公告)。因此,如果手动点击鼠标逐条下载公告的话,花费几个小时是非常耗时的,特别是如果检索的公告有上千条的话,那小...

weixin_40006977的博客 2437

【全网最全,已解决】IE浏览器无法下载文件问题couldn‘t be downloaded.排查解决

ie浏览器无法下载文件解决步骤

m0_57021623的博客 5520

python selenium下载窗口 ie_用Python+selenium打开IE浏览器和Chrome浏览器的问题

这几天在学Python+selenium自动化,对三大浏览器Firefox,Chrome和IE都做了尝试,也都分别下载了对应的webdriver,如:geckodriver、chromedriver、IEDriverServer,并且把它们都放到python.exe的同级目录下,如下图:IEDriver: http://selenium-release.storage.googleapis.com...

weixin_39534100的博客 850
上一篇: Esri 2020 10m全球土地覆盖数据下载(Land Cover Downloader)
下一篇: python批量删除shapefile文件中某字段的指定属性值
空中旋转篮球
空中旋转篮球 新星创作者: python技术领域 新星创作者: python技术领域
博客等级 码龄14年 6105粉丝 270原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

空中旋转篮球

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值