Python笔记:网络爬虫的基础应用与异常处理

ABB机器人编程软件RobotStudio迅雷下载网盘下载 最近有不少小伙伴后台留言提了一些有关于RobotStudio安装方面的问题,包括初次安装,升级,或者多版本共存之类的问题,我有选择性的进行了回复,因为有的问题确实有些太“基础”。不过这也是体现出了还是有一些小伙伴对于RobotStudio的安装问题还是不太了解,所以这次我们就一起来看一下RobotStudio安装你应该get到的几个点。这样以后再有人提相关问题就可以直接把本文分享给他了。 首先我们先来看一下什么是RobotStudio,什么是RobotWare,它们有什么区别。毕竟我们想要了解,首先得先认 阅读详情

Python中的urllib介绍

  • 在Python2中, 有urllib与urllib2两个库可以用来实现request的发送
  • 而在Python3中, 没有urllib2了,统一称为:urllib
  • urllib中包括了四个模块:
    • urllib.request: 可以用来发送request和获取request的结果
    • urllib.error: 包含了urllib.request产生的异常
    • urllib.parse: 用于解析和处理URL
    • urllib.robotparse: 用于解析页面的robots.txt文件

关于urllib.request模块

  • 该模块提供了最基本的构造HTTP请求的方法, 可以模拟浏览器的请求过程,同时还带有处理authentication(授权验证)、redirections(重定向)、cookies(浏览器Cookies)等内容
  • 使用示例:urllib.request.urlopen(url, data=None, [timeout,]*, cafile=None, capath=None, cadefault=False, context=None)
    • 参数:url是地址;data:可选附加参数,字节流编码格式(bytes()可转换), 请求方式会变为POST; timeout(超时时间)单位为秒, 未及时响应则抛出异常
    • 返回:HTTPResponse类型的对象:response.read() 可得到返回的网页内容, 可使用decode(‘utf-8’)解码字符串; response.status 可以得到返回结果的状态码

关于urllib.request.Request模块

  • 利用urlopen()可实现最基本的请求发起,但不足以构建一个完整的请求
  • 使用强大的Request类可以在请求中加入需要的headers等信息
    • 示例源码:class urllib.request.Request(url,data=None,headers={},origin_req_host=None,unverifiable=False,method=None)
    • 参数url: 是必传参数,其他都是可选参数
    • 参数data: 参数如果要传必须传bytes(字节流)类型的, 如果是一个字典, 可以先用urllib.parse.urlencode()进行编码
    • 参数headers: 是一个字典, 可在构造Request时通过headers参数传递,也可通过调用add_header()来添加请求头
    • 参数origin_req_host: 请求方的host名称或IP地址
    • 参数unverifiable 指的是这个请求是否是无法验证的,默认是False, 意思是用户没有足够权限来选择接受这个请求的结果
    • 参数method是一个字符串,用来指示请求使用的方法,如:GET、POST、PUT等

使用urllib.request模块来爬取数据示例

import urllib.request
import re

url = "http://www.baidu.com"
res = urllib.request.urlopen(url)
# print(res.read().decode("utf-8")) # 请求的结果是html代码
# print(len(res.read())) # 153682 注:此处输出网页字符的长度
html = res.read().decode("utf-8")

dlist = re.findall("<title>(.*?)</title>", html)
print(dlist) # ['百度一下,你就知道']

使用urllib.request.Request模块进行请求封装示例

import urllib.request
import re

url = 'http://news.baidu.com/';

# 伪装浏览器用户
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}
req = urllib.request.Request(url, headers=headers) # 封装请求对象
res = urllib.request.urlopen(req) # 执行请求获取响应信息 通过封装对象
# res = urllib.request.urlopen(url) # 执行请求获取响应信息 直接通过url
html = res.read().decode('utf-8') # 从响应对象中读取信息并解码
pat = '<a href="(.*?)" .*? target="_blank">(.*?)</a>' # 使用正则解析新闻标题

dlist = re.findall(pat, html)

for v in dlist:
    print(v[1] + ' : ' + v[0])

爬虫的异常处理

  • 在爬虫运行时,经常会出现异常,若不进行处理则会因报错而终止运行
  • urllib.error 可接收有urllib.request产生的异常。它有两个类,URLError 和 HTTPError
    • URLError内有一个属性:reason 返回错误原因
    • HTTPError内有三个属性: code 返回状态码,reason返回错误原因,headers返回请求头
  • URLError 是 OSError 的一个子类,HTTPError 是 URLError的一个子类
  • 错误处理: 在容易出错的位置,添加 try 块

方式1 (按错误类型分别处理):

from urllib import request, error

url = 'https://avatar.youkuaiyun.com/x/y/sdsds.jpg'
req = request.Request(url)
try:
    res = request.urlopen(req)
    html = res.read().decode('utf-8') # 此处二进制内容转换为utf8的内容
    print(len(html))
# HTTPError 要在 URLError 之后
except error.HTTPError as e:
    print('HTTPError')
    print(e.reason)
    print(e.code)
except error.URLError as e:
    print('URLError')
    print(e.reason)

方式2 (开发中经常采用这种方式, 统一处理):

from urllib import request, error

url = 'https://avatar.youkuaiyun.com/x/y/sdsds.jpg'
req = request.Request(url)
try:
    res = request.urlopen(req)
    html = res.read().decode('utf-8')
    print(len(html))
except Exception as e:
    if hasattr(e, "code"):
        print("HTTPError")
        print(e.reason)
        print(e.code)
    elif hasattr(e, "reason"):
        print("URLError")
        print(e.reason)
Python网络爬虫与信息提取(实例讲解) 下面小编就为大家带来一篇Python网络爬虫与信息提取(实例讲解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧 课程体系结构: 1、Requests框架:自动爬取HTML页面与自动网络请求提交 2、robots.txt:网络爬虫排除标准 3、BeautifulSoup框架:解析HTML页面 4、Re框架:正则框架,提取页面关键信息 5、Scrapy框架:网络爬虫原... 阅读详情

相关推荐

精通 Python 网络爬虫:核心技术、框架与项目实战

内容简介 本书从技术、工具与实战3个维度讲解了 Python 网络爬虫: 技术维度:详细讲解了 Python 网络爬虫实现的核心技术,包括网络爬虫的工作原理、如何用 urllib 库编写网络爬虫、爬虫的异常处理、正则表达式、爬虫中 Cookie 的使用、爬虫的浏览器伪装技术、定向爬取技术、反爬虫技术,以及如何自己动手编写网络爬虫; 工具维度:以流行的 Python 网络爬虫框架 Scrapy 为...

GitChat 7522

Python——Python Enhancement Proposal

在PyCharm长征之路上,遇到报错是免不了的。 PEP是Python Enhancement Proposal的缩写,通常翻译为“Python增强提案”。​ 每个PEP都是一份为Python社区提供的指导Python往更好的方向发展的技术文档,其中的第8号增强提案(PEP 8)是针对Python语言编订的代码风格指南。​ 尽管我们可以在保证语法没有问题的前提下随意书写Python代码,但是在实际开发中,采用一致的风格书写出可读性强的代码是每个专业的程序员应该做到的事情,也是每个公司的编程规范中会提出的要

m0_61962469的博客 4359

Python网络爬虫基本库

网络爬虫(Web Crawler)是一种自动化程序,用于从互联网上采集信息。它通过自动访问网页并提取所需的数据,实现对大量网页的快速检索和数据抓取网络爬虫通常使用HTTP协议来访问网页,并通过解析HTML、XML等网页内容来提取数据。爬虫可以从一个起始点(如某个特定网页)开始,然后根据链接关系自动地遍历和抓取其他相关网页。

Java/Python大数据随笔 3005

html拼写错误提示,html5的spellcheck属性(拼写、文法检查)

spellcheck属性的使用.ac{border:1px solid #ff7300;width:200px;height:100px;}1.输入完某个单词后,进行按空格键,就可以看到这是不是错误的单词了。2.spellcheck="true"、'false'、"",值为true和""时,代表检查。。【空字符串为什么检查:就跟input其他属性一样,你设置个readonly就是只读( reado...

weixin_26750831的博客 2481

Python网络爬虫实战:爬取新闻网站新闻

正则表达式(Regular Expression)是一串由字符和特殊符号构成的字符串,它描述了一种字符串匹配的模式,用来检索、替换那些符合某个模式(规则)的文本。在Python中,正则表达式可以使用re模块进行处理。下面是一个简单的例子,展示了如何使用re模块来匹配特定模式的字符串:import re# 待搜索的字符串text = "今天天气不错,明天也不错。# 正则表达式,匹配“天”字后的字符pattern = r"天(后|上|下)"

weixin_28746457的博客 3111

Autodesk软件网络授权破解

Autodesk 全系列产品网络授权破解 此网络许可授权破解文件及方法适用Autodesk 绝大部分的产品, 安装网络许可证管理器Autodesk网络许可证管理器x64位官方下载地址( https://knowledge.autodesk.com/sites/default/files/file_downloads/nlm11.14.1.3_ipv4_ipv6_win64.msi ) Autod...

weixin_33919950的博客 8273

编写HTML代码常见错误以及解决方法?

HTML调试在编写HTML代码的时候通常会有以下两种主要类型的错误:语法错误:由于拼写错误导致程序无法运行;通常熟悉语法并理解错误信息后很容易修复。逻辑错误:不存在语法错误,但代码无法按预期运行;通常逻辑错误比语法错误更难修复,因为无法得到指向错误源头的信息。HTML本身不容易出现语法错误,因为浏览器是以宽松模式运行的,这意味着即使出现语法错误浏览器依然会继续运行。浏览器通常都有内建...

aikuai7711的博客 1932

在Kintex-7 FPGA上实现皮秒级时间测量:手把手教你搭建CARRY4进位链TDC(附源码与约束)

本文详细介绍了在Kintex-7 FPGA上利用CARRY4进位链实现皮秒级时间测量(TDC)的完整方案。从CARRY4的物理特性分析到硬件架构设计,再到校准方法与精度提升技巧,手把手教你构建测量精度达53ps的TDC系统,并附源码与约束文件,助力激光雷达、高能物理等精密计时应用开发。

weixin_42550052的博客 448

html 常犯的错误,HTML_CSS初学者常犯错误汇总,前面文章介绍了给CSS初学者收 - phpStudy...

CSS初学者常犯错误汇总前面文章介绍了给CSS初学者收集的技巧,这篇汇总下CSS初学者容易犯的错误。推荐阅读本站的XHTML教程专题内容。在编写CSS样式时,常常会出现一些问题,有些问题可以很快得已解决,而有些问题可能会浪费我们很多的精力和时间。特别是新手朋友,对各方面的知识不是非常了解,编码经验也有限,遇到问题手足无措,现收集整理了十个最容易范的错误,希望对大家有所帮助。文章介绍的比较简单,更多...

weixin_35255536的博客 314

招标信息爬取工具

一个能帮你节省大量时间的实用小工具,我自己用了挺久,分享出来给有需要的朋友

qq_56877290的博客 840

Cloudflare 5秒盾破解实战:Python补环境框架下的13次请求全解析

本文深入解析Cloudflare 5秒盾(5-second challenge)的工作原理,并提供基于Python环境的自动化应对策略。通过13次请求流程分解、动态脚本处理技术和环境指纹模拟,帮助开发者有效绕过这一复杂的人机验证机制,提升自动化工作效率。

weixin_30772105的博客 181

Python网络爬虫全攻略:从零到一,打造你的数据收集利器

网络爬虫(Web Crawler),也被称为网页蜘蛛(Web Spider),是一种自动获取网页内容的程序。它按照一定的规则,自动地抓取互联网信息。网络爬虫可以用于数据采集、信息监控、搜索引擎构建等多种场景。通过本文的介绍,你应该对Python网络爬虫有了全面的了解。从基础的请求发送、内容解析到数据存储,再到进阶的多线程、异步请求和框架使用,每一步都是构建高效爬虫的关键。记住,技术是工具,合理合法地使用技术,才能发挥其最大的价值。

来自想要赚大钱的小周同学 1783

Python-uiautomator2保姆级安装指南:从环境配置到设备连接全流程

本文提供Python-uiautomator2的保姆级安装指南,涵盖从环境配置到设备连接的全流程。详细介绍了Python 3.6+、ADB工具等核心组件的准备,以及uiautomator2的安装和设备端服务初始化步骤,帮助开发者快速搭建Android自动化测试环境,避免常见问题。

nnn11的博客 940

python爬虫基础知识整理

本文主要记录python爬虫的基础知识点,主要知识:理论基础、爬虫技能简述、实现原理和技术、uillib库和urlerror、正则、headers属性和代理服务器设置及Cookie。 1)理论基础部分 网络爬虫又称网络蜘蛛、网络蚂蚁、网络机器人等,可以按照我们设置的规则自动化爬取网络上的信息,这些规则被称为爬虫算法。 2)爬虫的组成有控制节点、爬虫节点和资源库 个人简单理解就是控制节点相当

chen_ke_hao的博客 1万+

基于 YOLOv26 的高速抛物识别系统:微小目标检测

本文提出了一种基于YOLOv26的高速抛物识别系统,专注于微小目标检测。系统采用多模块协同架构,包括视频预处理、YOLOv26检测、目标跟踪和抛物行为分析等模块。关键技术包括YOLOv26s模型检测、DeepSORT目标跟踪和边缘计算部署。通过构建包含多种抛物类型的专业数据集,并应用数据增强技术提升模型性能。系统实现了车辆检测、微小抛物目标识别、抛物轨迹分析和风险等级评估等功能,可实时检测高速公路上的抛物行为并触发告警,为交通管理提供智能化解决方案。

一键难忘的博客 635

【沃顿商学院学习笔记】商业基础——Financing:05 名义利率和实际利率 APR& EAR

商业基础——名义利率和实际利率 本章主要是从名义利率和实际利率的相关概念和计算方法进行学习。 名义利率和实际利率 APR&amp;amp; EAR 根据下图可以直到: APR,QUOTED RATE在精算中又叫名义利率,比如一个房产贷款quoted rate or APR是12%,且按月复利,那么说明它的月实际利率是12%/12=1% EAR是effecive annual rate,在精算中叫实际利率,...

ECNU乐扣老师——区块链、可计算情感 1万+

Python网络爬虫与数据采集实战——网络爬虫的基本流程

网络爬虫的开发不仅仅是抓取网页内容,还涉及到诸如请求优化、数据解析、异常处理、数据存储等方面的技术。通过合理的URL提取、有效的HTTP请求、精确的数据解析与存储策略,开发者能够构建出功能强大且高效的网络爬虫系统。在实际开发中,遵循这些基本流程并结合最新的技术解决方案,将极大提升爬虫的可行性和实用性。

好看资源网的博客 3395

36、T5L 迪文屏C51开发之绘制动态曲线

T5L 迪文屏C51开发之绘制动态曲线1、介绍2、例程功能简介3、GUI界面设计3、C51程序设计 1、介绍   本文将利用DGUS Tool软件中的【动态曲线控件】来绘制曲线效果,在T5L迪文屏中总共支持8个通道的曲线,而曲线数据是需要缓冲区的,如果 8 通道曲线同时使用,0x1000-0x4FFF 将作为曲线缓冲区地址,此时该部分变量地址不能被其他控键使用,其他控键地址使用范围为0x5000-0xFFFF,当某曲线通道不被使用时,那么其所对应的缓冲区地址可以做其他用途,曲线通道具体的地址分布如下图所示:

嵌入式羊圈 3135

网络爬虫解析

网络爬虫(也称为网页蜘蛛、网络机器人)是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。网络爬虫可以用于从网站提取数据,例如监测社交媒体平台上的活动,或者从网上收集新闻和文章。它们也可以用于搜索引擎,如Google和Bing,来抓取和索引网页,以便在用户进行搜索时提供结果。URL通常由多个部分组成,包括协议类型(如HTTP、HTTPS)、主机名(域名或IP地址)、路径(资源在主机上的位置)以及可选的查询参数(用于传递额外的信息)。通过URL,用户可以方便地访问和定位到特定的网络资源。

2301_82032652的博客 2637

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

【好书推荐3】Python网络爬虫入门到实战

本书介绍了Python3网络爬虫的常见技术。首先介绍了网页的基础知识,然后介绍了urllib、Requests请求库以及XPath、Beautiful Soup等解析库,接着介绍了selenium对动态网站的爬取和Scrapy爬虫框架,最后介绍了Linux基础,便于读者自主部署编写好的爬虫脚本。本书所有代码和相关素材可以到GitHub下载获取,地址为https://github.com/sfvsfv/Crawer。本书主要面向对网络爬虫感兴趣的初学者。杨涵文。

定期分享我的发现和想法,感谢你的陪伴和支持 7930

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

网络爬虫-Python网络爬虫和C#网络爬虫

C# 也可以用于网络爬虫开发,通过 HTTP 请求获取网页数据并进行解析。与 Python 类似,C# 也有相应的库和框架,虽然 C# 网络爬虫在简便性和灵活性上不如 Python,但在某些企业级应用中,C# 也表现出色。

weixin_42462436的博客 3405

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

Python网络爬虫技术

Python网络爬虫作为一种强大的数据获取工具,在数据分析、信息检索、搜索引擎优化等领域发挥着重要作用。然而,在使用爬虫时,我们必须遵守相关法律法规和网站的访问政策,确保数据的合法性和隐私保护。同时,随着技术的不断发展,我们也应积极探索和创新爬虫技术的新应用和新方法。

jun778895的博客 3954

Python 网络爬虫

自动发送 HTTP 请求访问网页;下载网页资源(HTML、图片、文件等);解析并提取所需信息;实现数据存储与后续处理。网络爬虫在数据采集、搜索引擎、舆情监控等方面有着广泛的应用。

专注于C/C++、Python、嵌入式、Linux与算法研究的技术分享者,记录成长,分享干货,积累价值。 3243

26.Python 网络爬虫

学习Python网络爬虫相关基础知识。

小发菜 5015
上一篇: Python笔记:网络爬虫概述与工作原理
下一篇: Python笔记:网络爬虫中常用库的对比使用
Wang's Blog
博客等级 码龄12年 7440粉丝 2427原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wang's Blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值