urllib2下载网页的三种方法

urllib3 最新版本爬虫 whl安装包 python2-3可用 urllib3 最新版本爬虫 whl安装包 python2-3可用 32位 可用 立即下载
# coding=UTF-8
import urllib2
import cookielib

url="http://www.baidu.com"


print '第一种方法'
response1 = urllib2.urlopen(url)
print response1.getcode();
print len(response1.read())


print '第二种方法'
request = urllib2.Request(url);
request.add_header("user-agent", "Mozilla/5.0")
response2 = urllib2.urlopen(request);
print response2.getcode();
print len(response2.read())


print '第三种方法'
cj = cookielib.CookieJar()
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
response3 = urllib2.urlopen(request);
print response3.getcode();
print cj
print response3.read()
python写的urllib2下载文件基于ntlm 使用python写的下载linux.linuxidc.com的资源。对于其它网页,请自行修改 立即下载

相关推荐

python 2.7 urllib2的详细使用教程

python 2.7 urllib2的详细使用教程

imooc urllib2下载网页3种方法代码

# /usr/bin/python2.7.6 # coding=utf-8 # # urllib2下载网页3种方法 # #2016/02/29 import urllib2 import cookielib url = "http://www.baidu.com" print'第一种方法' response1 = urllib2.urlopen(url) print response1.ge

DF的博客 418

urllib2_prior_auth-0.2.0-py2.py3-none-any.whl

urllib2_prior_auth-0.2.0-py2.py3-none-any.whl下载后使用Pip安装

python下载是免费的吗-关于python下载imooc的免费视频的方法

前言这几天收到很多回复,都是再说代码有问题,我很疑惑,经过反复几次回复我才知道,我的代码中一些关键的url被屏蔽掉了(imooc的网址),所以导致代码报错,我服了,所以我打算把代码放到压缩包里面.在这里软件功能方面linux平台上,软件可以下载imooc的视频并进行合成windows平台需要ffmpeg并加入到环境变量里面下面是原始文章昨天心血来潮,突然想下载慕课网视频(免费视频),调试了几遍,得...

weixin_39712724的博客 1230

ADS笔记,新旧两组仿真数据进行绘图和列表对比

原理图器件参数的不同,怎么进行对比观看,操作如下。

彭辉荣的博客 3870

初识机会网络仿真器ONE中ExternalMovement移动模型(导入外部移动数据)

最近半个月一直在研究ONE中关于ExternalMovement移动模型的源代码,在网上几乎没有找到相关的资料,很是苦恼,如果有共同研究方向的小伙伴欢迎联系我,共同讨论进步。 下面记录一下几点感悟: 1、使用外部数据的前提是在ONE的配置文件中增加及修改相关代码: Group.movementModel = ExternalMovement ExternalMovement.file = move...

qq_36974792的博客 659

python urllib2下载_Python urllib2下载网页的方法

urllib2下载网页方法:最简洁方法# -*- coding: utf-8 -*-import urllib2#直接请求打开百度页面response = urllib2.urlopen('http://www.baidu.com')#获取状态吗,如果是200表示获取成功print response.getcode()#读取内容con = response.read()urllib2下载网页方法:...

weixin_39605647的博客 531

VisionMaster 4.2.0安装

按照顺序安装。

XuXing_java的专栏 3801

python 爬取网页的最基础三种方法

# coding:utf8 import cookielib import urllib2 url = "http://www.baidu.com" print "第一种方法" response1 = urllib2.urlopen(url) print response1.getcode() print len(response1.read()) print "第二种方法" request

王甲评的博客 5474

LVGL在单色屏上运行

本文主要讲述LVGL在单色屏应用中的实现思路,并已验证通过。网上关于lvgl移植的文章有很多了,本文不加以赘述。

weixin_43278295的博客 4464

《自然语言处理实战入门》文本分类 ---- 使用词向量与SVM 进行文本分类

文本分类用电脑对文本集(或其他实体或物件)按照一定的分类体系或标准进行自动分类标记。 它根据一个已经被标注的训练文档集合, 找到文档特征和文档类别之间的关系模型, 然后利用这种学习得到的关系模型对 新的文档进行类别判断 。文本分类从基于知识的方法逐渐转变为基于统计 和机器学习的方法。

shiter编写程序的艺术 2389

urllib2下载网页的三种方法_Python爬虫

# -*-coding:gbk-*-''' urllib2下载网页的三种方法 '''import urllib2,cookielib url='http://www.baidu.com'#直接请求 print u'第一种方法_直接请求' response1=urllib2.urlopen(url) print response1.getcode() print len(response1.read(

ShirleyPaul_SmallWorld 1181

7.1华为OD机试真题 新系统 - 仓库盘点 (Java/Py/C/C++/Js/Go)

7.1华为OD机试真题 新系统 - 仓库盘点 (Java/Py/C/C++/Js/Go)

算法大师! 509

urllib2下载器网页的三种方法

python网络爬虫第一步:#coding:utf8 import urllib2 import cookielib url = 'https://www.baidu.com/' print("第一种方法") response1 = urllib2.urlopen(url) print response1.getcode() print len(response1.read()) print(

挽风 1052

TIBCO Jaspersoft Studio报表开发 使用教程-进阶版

本文学习内容容器定制二级目录三级目录 容器定制 二级目录 三级目录

吉哲的博客 7521

CLASSB类移植(满足IEC 60730-1和60355-1标准)

针对软件认证需要满足IEC 60730-1和60335-1标准,ST公司专门提供的软件扩展包X-CUBE-CLASSB,它包含自测库和文档,支持多种STM32系列芯片,通过预集成测试库和标准化流程,帮助开发者快速满足国际安全标准,适用于家电、工业控制等高可靠性场景。ClassB软件包程序检测内容分为两个主要部分:启动时的自检和运行时的周期自检,MCU在上电的时候会进行复位启动,在启动完成以后会进行运行自检。

m0_61973119的博客 1402

python3.6.2下载网页的3种方法

这里运用了python里面的urllib作为网页的下载模块,三种方法的具体的代码如下:from urllib import request import http.cookiejar url="http://www.baidu.com"print ('第一种方法') response1=request.urlopen(url) print (response1.getcode()) print (l

DH_SIR的博客 972

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

Python爬虫:URL管理器及其实现方式、网页下载器、网页解析器原理及其实现原理!

Python爬虫之URL管理器:Python爬虫:URL管理器实现方式:Python爬虫之网页下载器:urllib2实现网页下载器的三种方法:具体代码:                        Python网页解析器:...

一亩地的专栏 3237

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

Python爬虫----网页下载器和urllib2模块及对应的实例

网页下载器:将互联网上URL对应的网页下载到本地的工具,是爬虫的核心组件 未完。。。

ChangWen的博客 2914

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

第5章 网页下载器和urllib2模块

网页下载器:将互联网上URL对应的网页下载到本地的工具 通过网页下载器将互联网中的url网页,存储到本地或内存字符串 python有哪几种网页下载器? 1.urllib2 python官方基础模块 2.requests python第三方包更强大 urllib2下载网页方法1:最简洁方法   url-------------------------->urllib2....

weixin_34290096的博客 202

三种方法实现网页下载-(慕课网学习笔记)

网页下载器 网页下载器是将URL对应的网页下载到本地的工具 Python网页下载器: urllib2 : Python官方基础模块 requests : 第三方插件,功能更强大 三种下载网页的方法 最简洁最传统: urllib2.urlopen(url) 需向服务器提供data,http header等信息: request = urllib2.Request(url) req...

weixin_30526593的博客 279
上一篇: Python中遇到SyntaxError: Non-ASCII character '\xe5' in file D:\eclipseworkspace\test\test_urllib2.py on
下一篇: 网页解析器--Beautiful Soup
github_zwl
博客等级 码龄11年 300粉丝 171原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值