python爬虫入门urllib库的使用

最新推荐文章于 2024-05-06 12:28:37 发布

于燚辉

最新推荐文章于 2024-05-06 12:28:37 发布

阅读量360

点赞数

本文链接：https://blog.youkuaiyun.com/caiqirui/article/details/80564003

版权

urllib库的使用

只要几句代码就可以把一个网站的源代码下载下来。

也可以这样使用：

这种用法比较常见。

我们用php创建一个表单，然后用urllib2模拟表单提交

接下来，我们先用get方式提交【备注：域名是我本地的，你需要用本地host映射，相应的服务器域名和ip】

执行之后，如果把用户名或者密码该错，就会出现login error.

post提交方式，当然你要把php表单改成post提交.

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

于燚辉

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python 爬虫入门（六）：urllib库的使用方法

blues_C的博客

08-04

2134

欢迎来到"Python 爬虫入门"系列的第六篇文章。今天我们来学习Python标准库中的urllib,这是一个用于处理URL的强大工具包。urllib是Python内置的HTTP请求库,不需要额外安装,就可以直接使用。它提供了一系列用于操作URL的函数和类,可以用来发送请求、处理响应、解析URL等。

Python常用模块之 urllib&&urllib3 【爬虫库】

热门推荐

孤寒者的博客

09-15

10万+

Python常用模块之 urllib&&urllib3 【爬虫库】

参与评论您还未登录，请先登录后发表或查看评论

Python之urllib库的主要使用方式

Luotuo_TK18的博客

11-09

540

如果把这个生成的opener对象使用install_opener方法来设置为全局的，opener对象之后的每次访问都会带上这个cookie。设置全局后既可以用urlopen()方法，也可以用opener.open() ；将这个opener设置为全局的opener，之后所有的，不管是opener.open()还是urlopen() 发送请求，都将使用自定义 request.install_opener(opener) resp = request.urlopen(url)

python爬虫入门-urllib的基本使用

北冥有鱼丶

06-01

402

前言 python之所以强大主要是因为他有许多的开源库可以使用，爬虫的库就有很多，具体可以自行了解一下。为了方便我们这次使用的IDE就是用sublime text 3 ，sublime text 3并不支持python程序，所以我们需要配置一下。具体配置教程请查看sublime text 3 打造成python IDE 环境学习python爬虫当少不了，python的一些基础。可以在通过如下...

python3.X版本与2.X版本里urllib库的不同

07-14

209

最近在学习使用python3写爬虫，刚开始写很菜（上次听到一个大佬说花了一天时间学习Python，第二天就开始做了个大的爬虫，大佬就是大佬岂是我等小菜能比的），因为之前学了一点2版本所以现在学习使用3版本写爬虫时会有些不同，下面主要说下urllib库的不同。 1.urllib库是什么？ urllib库提供了一系列用于操作URL的功能。是python中一个功能特比强大的库，在pyth...

2.1 urllib库详解

一只小鲤鱼~的博客

07-03

5280

timeout参数用于设置超时时间，单位为秒，当请求超出了设定的时间，还没有得到响应，就会抛出异常。我们可以通过Request创建一个Request类型的对象，再将该对象作为参数传入urlopen方法，这样urlopen方法的参数就可以灵活地配置参数了。由运行结果可知，解析结果是一个ParseResult类型的对象，包括6部分，分别是scheme、netloc、path、params、query、fragment。它可以正确处理各种不同类型的 URL，确保生成的完整 URL 是符合预期的。

Urllib库在不同python版本中的变化

weixin_38312031的博客

02-08

753

Urllib库在不同python版本中的变化本文整理Urllib库在python2.X版本和python3.X版本中的变动，方便在快速的改写代码以适配不同的Python版本以下左侧表示python2.X,右侧表示python3.X版本变动 import urllib2对应import urllib.request,urllib.error import urllib ...

python爬虫入门之urllib库的基本使用(附实战训练爬取内容)

showswoller的博客

10-07

782

python爬虫入门之urllib库的基本使用爬取了笔趣阁中斗罗大陆的全部内容对urllib库中基本内容及模块进行了详细的介绍

零基础写python爬虫之urllib2使用指南

12-23

前面说到了urllib2的简单入门，下面整理了一部分urllib2的使用细节。 1.Proxy 的设置 urllib2 默认会使用环境变量 http_proxy 来设置 HTTP Proxy。如果想在程序中明确控制 Proxy 而不受环境变量的影响，可以使用...

Python爬虫 —— urllib库的使用（get post请求+模拟超时浏览器）_urllib发送post请求

最新发布

m0_61068088的博客

05-06

1130

网络爬虫就是按照一定规则，自动抓取互联网信息的程序或脚本，由于互联网数据的多样性和资源的有限性，根据用户需求定向抓取相关网页并分析就是爬虫要做的工作为什么我们把它称为爬虫（Spider）嘞？互联网就像是一张大网，而每一个网页就是这张大网上的每一个结点，这些结点间的通信和跳转通过链接来实现，而这个链接就是互联网这张大网上结点之间的连线，爬虫到达一个结点就意味着可以爬取这个页面的信息，当爬虫顺着这些连线（链接）爬向不同的结点（网页）时，就可以爬取到整个网站的信息。

urllib库的介绍以及常见使用

qq_37253540的博客

06-26

861

urllib库，它是模拟浏览器发送请求的库，它由Python自带。 1、不同的版本其使用也不相同，对应关系如下： Python2：urllib urllib2 Python3: urllib.request urllib.parse 2、urllib.request的使用：（1） urlopen(url)#读取url 如：response = ur...

urllib3库的介绍以及使用

博客

07-21

3353

urllib3是一个功能强大且易于使用的Python HTTP库，用于发送HTTP请求和处理HTTP响应。它提供了许多高级功能和选项，使得在Python中进行HTTP通信变得更加简单和灵活。相比于其他HTTP库，urllib3的主要优势在于它的连接池管理和复用功能，以及对HTTPS请求的良好支持。

python的网络请求库urllib、urllib2、urllib3、request的联系

craftsman2020的博客

11-18

4032

urllib、urllib2、urllib3、request均能通过网络访问互联网上的资源文件，它们通过使用统一资源定位符（URL）并结合re模块完成很多意想不到的操作。 requests是基于urllib3封装的,继承了urllib2的所有特性,遵循Apache2 Licensed开源协议的HTTP库，支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。如他的口号HTTP for Humans所说,这才是给人用的HT

python中urllib2库的基本使用

Erel_张元江的博客

11-17

414

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中抓取出来。在Python中有很多库可以用来抓取网页，此篇介绍urllib2。 urllib2 是 Python2.7 自带的模块(不需要下载，导入即可使用) urllib2 官方文档：https://docs.python.org/2/library/urllib2.html urllib2 源码：https://hg.python.org/...

Java web的笔记

m0_46937429的博客

10-27

340

1.web开发模型的2种模式，我们使用的是哪一种其优缺点是什么？ b/s c/s b/s优点：成本低，客户端零维护，安全性高缺点：负载重，分布式应用，宽带带宽 2.http是什么其作用和特点各是什么？ http：超文本传输协议基于请求和响应的无状态传输状态 3.servlet的执行流程？ action→xml中的url→name→name→class→get或post 三层体系数据层存储大量的数据信息和数据逻辑，完成与数据有关的安全，完整性控制，数据的一致性，并发操作中间层所有的应用系统，应用逻

【python爬虫自学笔记】-----urllib库的基本使用

菜菜鸟的博客

08-02

2570

urllib是python内置的http请求库包含以下模块： urllib.request 请求模块，用来打开和读取url； urllib.error 异常处理模块 ,包含request产生的错误，可以使用try进行捕捉处理； urllib.parse url解析模块，包含一些解析url的方法； urllib.robotparser robots.txt解析模块，它提供了一个单独的R...

urllib库的简单使用 && 一个简单的Python爬虫示例

Widsom的博客

11-08

6382

urllib库的简单使用 && 一个简单的Python爬虫示例本篇文章，介绍urllib.request库的简单使用以及注意的问题。最后实现一个Python爬虫的示例。本文是基于Python3.6.2实现的。urllib.request相当于Python2.7中的urllib2的库的一部分。urllib.request库的简单使用 urlopen()： # 请求一个百度地址，返回一个服务器响应的类文

urllib库使用详解

Arise007的博客

03-01

3575

通过这篇文章为大家介绍崔庆才老师对Python——urllib库的讲解本文共有约1200字，建议阅读时间8分钟，并且注重理论与实践相结合用电脑观看的可以点击阅读原文即可跳转到优快云网页方便操作目录：一、什么是Urllib库？二、urllib用法讲解一、什么是Urllib库？Python内置的HTTP请求库urllib.request：请求模块urllib.error：异常处理模块urllib.p...

[经验总结]用Python的urllib库提交WEB表单

ThinkHY的专栏

02-23

4806

上次实现的校园网IP网关登录器其中一个关键部分就是提交登录网页的表单,下面是我的Python实现代码： import urllib2,urllib 1. class EntryDemo( Frame ): 2. """Demonstrate Entrys and Event binding""" 3. 4. cho