【python】如何下载一个网页

使用Python下载文件

最新推荐文章于 2024-01-11 17:02:43 发布

翻译最新推荐文章于 2024-01-11 17:02:43 发布 · 1.3k 阅读

本文介绍了如何使用Python的不同库（如urllib2、requests）来从HTTP服务器下载文件，并提供了具体的代码示例。此外还展示了如何使用requests库获取文件大小。

Stackoverflow的答案：
http://stackoverflow.com/questions/22676/how-do-i-download-a-file-over-http-using-python

import urllib2
response = urllib2.urlopen('http://www.example.com/')
html = response.read()

import urllib
urllib.urlretrieve ("http://www.example.com/songs/mp3.mp3", "mp3.mp3")

还有如progress bar的实现等等。
2012的requests，对http直接封装：

>>> import requests
>>> 
>>> url = "http://download.thinkbroadband.com/10MB.zip"
>>> r = requests.get(url)
>>> print len(r.content)
10485760

各类回答棒极了

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

牧风

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

用Python下载一个网页保存为本地的HTML文件实例

12-25

比如我们要下载山东大学新闻网的一个页面，该网页如下：实现代码如下： import urllib.request def getHtml(url): html = urllib.request.urlopen(url).read() return html def saveHtml(file_name, file_...

PYTHON之Django Web框架源码下载

最新发布

03-10

Django框架是Python编程语言驱动的一个开源模型-视图-控制器（MVC）风格的Web应用程序框架。使用 Django，我们在几分钟之内就可以创建高品质、易维护、数据库驱动的应用程序。 Django框架的核心组件有： 1、用于...

参与评论您还未登录，请先登录后发表或查看评论

python 下载整个网站

10-04

本程序，可以下载整个网站，包括css，js文件。保存的路径和网站的url路径对应，相当于复制一份网站。目前还有不完善的地方： 1 不支持多线程 2 没考虑所有url的情况。 3 英文注释，我自己不忍直视。欢迎大家完善。

python下载网页内容_python如何下载网页？

weixin_39576149的博客

11-24

1323

python下载网页的方法：直接使用下面的代码即可下载一个网页：import urllib.requestdef getHtml(url):html = urllib.request.urlopen(url).read()return htmldef saveHtml(file_name, file_content):# 注意windows文件命名的禁用符，比如 /with open(file_n...

python下载网页方法_Python 下载网页的几种方法

weixin_42365539的博客

02-09

4136

总结下，Python 下载网页的几种方法1fd=urllib2.urlopen(url_link)data=fd.read()这是最简洁的一种，当然也是Get的方法2通过GET的方法def GetHtmlSource(url):try:htmSource = ''req = urllib2.Request(url)fd = urllib2.urlopen(req,"")while 1:data =...

用 Python 实现一个网页下载工具

chenzhao635的专栏

11-25

640

来源:https://zhuanlan.zhihu.com/p/81852170 主要功能 (1) 设定站点名称； (2) 设定最大下载页； (3) 设定最大下载层； (4) 设定是否下载多媒体文件(图片)； (5) 设定是否下载其他站点网页； (6) 图形化显示。为防止链接失效 # -*- coding: utf-8 -*- im...

Python 下载网页

houyanhua1的专栏

10-12

428

import urllib import urllib.request import re url="http://www.baidu.net/aa.jpg" path="C:\\myfile\\aa.jpg" urllib.request.urlretrieve(url,path) #根据url下载到路径下

小白爬虫-下载网页JSON数据以及下载网页图片-Python-适合有一点点经验的新手、小白

01-20

1、首先是获取网页的JSON数据 2、然后用迭代器把JSON数据内容打印出来查看 3、然后展示如何通过URL把网页的图片内容下载到本地

精选资源

Python爬虫下载磁力链接

10-16

精选资源

python模拟浏览器获取网页内容

08-29

python urllib or requests模块模拟浏览器获取网页内容

Python 抓取网页下载链接

08-28

Python 抓取网页下载链接

数据分析入门系列教程-数据采集

数据森麟

10-27

954

使用Python访问并下载网页内容

followingturing 追随图灵的路上...

09-07

695

#!/usr/local/bin/python3.2 import urllib.request,io,os,sys req=urllib.request.Request("http://bbs.admin5.com/api.php?mod=js&bid=70") f=urllib.request.urlopen(req) s=f.read() s=s.decode('gbk','ignore')

python下载网站文件到本地,python下载网站所有网页

小发猫

01-11

1160

现在，为了启动协同程序，我们必须使用asyncio的get_event_loop()方法将协同程序放入事件循环中，最后，我们使用asyncio的run_until_complete()方法执行该事件循环。在这段代码中，我们使用了urlretrieve方法并传递了文件的URL，以及保存文件的路径。文件扩展名将是.html。在这段代码中，我们首先导入了requests模块，然后，我们从clint.textui导入了进度组件。如果你需要使用代理下载你的文件，你可以使用urllib模块的ProxyHandler。

python怎么下载网站_python怎么下载网页上的文件

weixin_42526249的博客

02-20

2901

python下载网页上的文件的方法：可以通过Http利用urllib或者urllib2模块来进行下载。urllib模块可以非常方便地抓取URL内容，然后返回HTTP的响应。可以通过Http利用urllib或者urllib2模块来进行下载。(推荐教程：Python入门教程)urllib的request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响应。实现...

python 下载网页文件_Python下载一个完整的网页（包括CSS）

weixin_39653717的博客

11-23

544

我有一个脚本运行Scrapy和Splash，它从一个站点提取各种数据，但我现在试图找到一种制作每个页面的离线副本的方法。Python下载一个完整的网页（包括CSS）我试图与Scrapy如下：def parse(self, response):filename = response.url.split("/")[-1] + '.html'with open(filename, 'wb') as f:...

用 Python 下载网页，超级简单！

cloudhe -- Code rules.

08-15

298

from urllib import urlopen webdata = urlopen("").read() print webdata From http://www.pythonid.com/html/fenleiwenzhang/network/20070910/173.html See more in "Dive Into Python"

用python下载网页文件

weixin_35750483的博客

12-19

2847

你可以使用 Python 的 urllib 库来下载网页文件。具体的方法是：首先使用 urllib.request.urlopen 函数打开网页链接，这会返回一个文件对象。然后使用文件对象的 read 方法读取文件内容。最后使用文件操作(如 open 函数)将文件内容写入本地文件。下面是一个简单的示例代码： import urllib.request# 打开网页链接 response ...

怎么用Python设计一个网页

09-20

### 回答1：可以使用 Python 语言和一些 Web 框架来设计网页。常用的 Python Web 框架有 Django、Flask 等。下面是一个使用 Flask 框架设计网页的简单示例： 1. 安装 Flask 框架： ``` pip install flask ``` 2. 编写 Python 代码： ```python from flask import Flask app = Flask(__name__) @app.route('/') def index(): return 'Hello, World!' if __name__ == '__main__': app.run() ``` 3. 运行 Python 脚本： ``` python app.py ``` 然后，在浏览器中访问 http://127.0.0.1:5000/ 就能看到网页了。这只是一个简单的例子，Flask 框架还有很多强大的功能，可以让你轻松地开发复杂的网站。 ### 回答2： Python可以通过多种框架来设计网页，例如Django和Flask。我将以Flask为例，介绍Python设计网页的基本步骤。首先，安装Flask框架。可以通过命令`pip install flask`来安装。然后，在Python脚本中引入Flask模块并创建一个Flask应用实例： ```python from flask import Flask app = Flask(__name__) ``` 接下来，可以通过定义路由来处理用户发起的不同请求。例如，可以定义一个首页的路由和对应的处理函数： ```python @app.route('/') def index(): return '这是首页' ``` 然后，可以将其他静态资源（例如CSS和图片）放在`static`文件夹中，并在HTML模板文件中使用`url_for`函数来引用这些静态资源： ```python @app.route('/') def index(): return render_template('index.html') ``` 在`templates`文件夹中创建一个HTML模板文件，例如`index.html`。可以在模板文件中使用Flask提供的模板引擎来渲染动态内容： ```html <!DOCTYPE html> <html> <head> <title>首页</title> </head> <body> <h1>欢迎访问首页</h1> </body> </html> ``` 最后，通过运行应用实例的`run`方法来启动Flask开发服务器： ```python if __name__ == '__main__': app.run() ``` 在命令行中执行脚本后，可以访问`http://localhost:5000`来查看网页效果。当然，上述只是最基本的网页设计，还可以通过Flask提供的模板继承、表单处理、数据库操作等功能来实现更复杂的网页。通过学习Flask的官方文档和实践，可以逐渐掌握Python设计网页的技能。 ### 回答3：要使用Python设计一个网页，可以遵循以下步骤： 1. 安装Python：首先，确保计算机上已经安装了Python编程语言的最新版本。可以从Python官方网站下载并按照安装向导进行安装。 2. 学习Python基础知识：在开始设计网页之前，需要对Python编程语言有一定的基础知识。可以通过阅读Python教程、参加在线课程或观看视频教程等方式学习。 3. 选择合适的网页框架：Python有许多网页框架可供选择，如Django、Flask等。根据个人需求和兴趣选择适合的框架。 4. 搭建开发环境：安装所选择的网页框架，并设置好开发环境。通常框架都有相应的文档或教程可以参考。 5. 设计网页结构：使用HTML和CSS等前端技术来设计网页结构和样式。可以将HTML和CSS文件放在框架的相应目录下。 6. 编写Python代码：根据网页的需求，使用Python编写相应的代码。可以处理用户请求、数据库交互、表单验证等。 7. 运行网页：在开发环境中运行网页，查看网页的效果。可以通过在终端或命令行中运行相应的命令来启动网页。 8. 测试和优化：进行测试，确保网页的功能和交互正常。根据测试结果进行优化，修复可能存在的问题和漏洞。 9. 部署网页：当网页开发完毕并经过测试后，可以将网页部署到服务器上，使其能够在互联网上访问。 10. 持续维护和更新：定期维护和更新网页，确保其安全性和性能。总之，使用Python设计网页需要学习Python基础知识、选择合适的网页框架、搭建开发环境、设计网页结构、编写Python代码、运行和测试网页，最终将其部署到服务器上。以上步骤可帮助您设计并实现一个基本的网页。