Python笔记:网络爬虫中常用库的对比使用

使用 Python 编写网络爬虫:从入门到实战 网络爬虫是一种自动化程序,通过模拟浏览器的行为向网络服务器发送 HTTP 请求,获取网页内容并进一步提取所需信息的过程。网络爬虫主要用于数据采集、信息监控、搜索引擎等领域,为用户提供更便捷、全面的数据检索服务。发送 HTTP 请求:模拟浏览器向目标网站发送请求,获取网页内容。解析网页内容:使用解析库解析 HTML 或其他标记语言,提取所需信息。处理信息:对提取的信息进行处理、存储或进一步分析。循环操作:根据需求循环执行上述步骤,实现自动化的数据采集和处理。 阅读详情

爬虫常用的库

常用的库

  • urllib 库 在python3中自带,但有很多不方便操作的地方:处理网页验证 、Cookies, Header头信息处理等
  • urllib3库 需要安装 $pip3 install urllib3 网址:https://pypi.org/project/urllib3/
  • requests 库 安装 $pip3 install requests 网址:http://2.python-requests.org/en/master/
  • 因此, 实际开发中经常用 urllib3 和 requests 库进行开发,而很少会去选择使用Python自带的 urllib

urllib的应用 (GET方式)

#coding=utf-8
from urllib import request, error
import re
import ssl

context = ssl._create_unverified_context() # 使用ssl创建未经验证的上下文
url = 'http://bj.58.com/job/?key=python&final=1&jump=1'
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}
req = request.Request(url, headers=headers) # 封装请求对象

try:
    res = request.urlopen(req, context=context) # 在urlopen中传入上下文参数
    html = res.read().decode('utf-8')
    print(len(html))
    pat = '<span class="address">(.*?)</span>  \| <span class="name">(.*?)</span>'
    dlist = re.findall(pat, html)
    for v in dlist:
        print(v[0] + ' : ' + v[1])

# HTTPError 要在 URLError 之后
except Exception as e:
    if hasattr(e, "code"):
        print("HTTPError")
        print(e.reason)
        print(e.code)
    elif hasattr(e, "reason"):
        print("URLError")
        print(e.reason)

urllib的应用 (POST方式)

from urllib import request, parse
import json # 用于处理json数据的库
import ssl

context = ssl._create_unverified_context() # 使用ssl创建未经验证的上下文

url = 'https://fanyi.baidu.com/sug';
data = {'kw':'python'}
data = parse.urlencode(data) # 对请求数据进行编码

# 设置header头信息
headers = {
    'Content-Length': len(data),
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
    'Content-Type': "application/x-www-form-urlencoded; charset=UTF-8"
}

# 发送请求,爬取信息,使用 bytes函数将数据转换成二进制
req = request.Request(url, data=bytes(data, encoding="utf-8"), headers=headers)
res = request.urlopen(req, context=context)

# 解析结果
str_json = res.read().decode('utf-8') # 此处是字符串

# print(str_json)

myjson = json.loads(str_json) # 通过loads函数转换成字典
print(myjson['data'][0]['v']) # n. 蟒; 蚺蛇;

urllib3 的简单使用举例

import urllib3
import re

url = 'http://www.baidu.com' # 必须有协议名,完整访问路径
http = urllib3.PoolManager() # 创建一个池管理对象
res = http.request('GET', url) # 获取一个response对象
print('status: %d' % res.status) # status: 200
data = res.data.decode("utf-8") # 对数据进行编码
print(re.findall("<title>(.*?)</title>", data)) # ['百度一下,你就知道']

requests 的简单使用举例

import requests
import re

url = 'http://www.baidu.com' # 必须有协议名,完整访问路径
res = requests.get(url) # 获取response对象
print('status: %d' % res.status_code) # status: 200

# 有三种方式获取数据:
# res.text 以文本方式
# res.json()
# res.content
data = res.content.decode("utf-8")
print(re.findall("<title>(.*?)</title>", data)) # ['百度一下,你就知道']

requests 的复杂使用举例 (GET方式, 参数分离写法)

#coding=utf-8
import requests
import re
import ssl

context = ssl._create_unverified_context() # 使用ssl创建未经验证的上下文
url = 'http://bj.58.com/job/'
data = {'key':'python', 'final':1, 'jump': 1} # GET请求的参数
headers = {'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'}

try:
    res = requests.get(url, headers=headers, params=data) # 封装请求对象
    html = res.content.decode("utf-8")
    print(len(html))
    pat = '<span class="address">(.*?)</span>  \| <span class="name">(.*?)</span>'
    dlist = re.findall(pat, html)
    for v in dlist:
        print(v[0] + ' : ' + v[1])

# HTTPError 要在 URLError 之后
except Exception as e:
    if hasattr(e, "code"):
        print("HTTPError")
        print(e.reason)
        print(e.code)
    elif hasattr(e, "reason"):
        print("URLError")
        print(e.reason)

requests 的复杂使用举例 (POST方式)

import requests
import json

def fanyi(kw):
    url = 'https://fanyi.baidu.com/sug';
    data = {'kw': kw}
    # 设置header头信息 头信息可以不加
    headers = {
        'Content-Length': len(data),
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36',
        'Content-Type': "application/x-www-form-urlencoded; charset=UTF-8"
    }
    # 发送请求,爬取信息
    res = requests.post(url, data = data)
    # 解析结果
    str_json = res.content.decode('utf-8')
    # print(str_json)
    myjson = json.loads(str_json)
    print(myjson['data'][0]['v']) # n. 蟒; 蚺蛇;

if __name__ == '__main__':
    while True:
        kw = input('请输入要翻译的词:')
        if kw == 'q':
            break
        fanyi(kw)

什么是网络爬虫 又称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者,是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。网络爬虫可以根据指定的规则,从互联网上下载网页、图片、视频等内容,并抽取其中的有用信息进行处理。网络爬虫的工作流程包括获取网页源代码、解析网页内容、存储数据等步骤。根据其目的和工作方式的不同,网络爬虫可以分为多种类型。常见的网络爬虫包括通用爬虫、聚焦爬虫、增量式爬虫等。 阅读详情

相关推荐

Python网络爬虫技术详解文档

搜索引擎数据收集(Googlebot)价格监控与市场分析舆情监测与数据分析学术研究数据采集。

m0_56896669的博客 3820

python爬虫库的对比

适用于简单的网页请求和数据获取,不具备 HTML 解析的功能。专注于 HTML 解析,适合从网页中提取结构化数据。是一个全功能的爬虫框架,适合构建大规模、高效的爬虫,具有规范的项目结构和生命周期。

Alaskan_Husky的博客 1388

Python-网络爬虫

网络爬虫(Web Spider)又称网络蜘蛛或网络机器人,是一段用来实现自动采集网站数据的程序。网络爬虫不仅能够为搜索引擎采集网络信息,而且还可以作为定向信息采集器,定向采集某些网站中的特定信息。对于定向信息的爬取,网络爬虫主要采取数据抓取、数据解析、数据入库的操作流程。(1)数据抓取:发送构造的HTTP请求,获得包含所需数据的HTTP响应;(2)数据解析:对HTTP响应的原始数据进行分析、清洗,以提取出所需要的数据;(3)数据入库:将数据进一步保存到数据库(或文本文件)中,用于构建知识库。

qq_42759120的博客 1767

不会这几个库,都不敢说我会Python爬虫

本文转自公众号“JAVAandPython君”点击上方“Python爬虫与数据挖掘”,进行关注回复“书籍”即可获赠Python从入门到进阶共10本电子书今日鸡汤丈夫清万里,谁能扫一室很多朋友不知道Python爬虫怎么入门,怎么学习,到底要学习哪些内容。今天我来给大家说说学习爬虫,我们必须掌握的一些第三方库。废话不多说,直接上干货。1请求库1. requestsGitHub:https://g...

pdcfighting的博客 298

Python 网络爬虫入门与实战

网络爬虫(Web Crawler)是自动访问网络并提取信息的程序。它可以模拟人类用户在浏览器中的行为,访问网页、抓取数据并存储到本地或数据库中。网络爬虫在信息检索、数据挖掘、搜索引擎等领域有广泛应用。Scrapy 是一个强大的爬虫框架,支持异步处理和数据存储。它适合大型爬虫项目,可以高效抓取和解析数据。yield item通过本文的学习,您应该对 Python 网络爬虫有了全面的了解。从基础的 Requests 库到高级的 Scrapy 框架,再到实战案例,涵盖了网络爬虫的方方面面。

985工科博士毕业,专攻定位、导航和滤波等算法研究。从业10年,主要使用MATLAB 2216

Python网络爬虫基本库

网络爬虫(Web Crawler)是一种自动化程序,用于从互联网上采集信息。它通过自动访问网页并提取所需的数据,实现对大量网页的快速检索和数据抓取网络爬虫通常使用HTTP协议来访问网页,并通过解析HTML、XML等网页内容来提取数据。爬虫可以从一个起始点(如某个特定网页)开始,然后根据链接关系自动地遍历和抓取其他相关网页。

Java/Python大数据随笔 3005

python 爬虫框架对比_爬虫比较

标签:Beautiful Soup。名气大,整合了一些常用爬虫需求。缺点:不能加载JS。Scrapy。看起来很强大的爬虫框架,可以满足简单的页面爬取(比如可以明确获知url pattern的情况)。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面,如weibo的页面信息,这个框架就满足不了需求了。mechanize。优点:可以加载JS。缺点:文档严重缺失。不过通过官方...

weixin_39604983的博客 1471

五分钟学会Python网络爬虫

但不管怎样,爬虫技术是无罪的,还是值得我们开发人员去学习了解一下的。在学习之前,我们还是要先了解一下相关概念。 什么是爬虫 网络爬虫:又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。 大数据时代,要进行数据分析,首先要有数据源,可数据源从哪里来,花钱买,没预算,只能从其它网站就行抓取。 细分下来,业内分为两类:爬虫和反爬虫。 反爬虫:顾名思义,就是防止你来我网站或APP上做爬虫的。 爬虫工程师和反爬虫工程师是一对相爱相杀的小伙伴,经常因为对方要加班写代码,

python588的博客 2366

python 爬虫框架对比_几种爬虫框架效果分析,python最好爬虫框架是哪一种?

爬虫可以用不同的语言编写,而且爬虫框架也多,比如python,简单易学,也是有不同的爬虫框架,python最好爬虫框架是哪一种呢?这些爬虫框架都有什么优缺点?一、爬虫框架使用对比分析多学习爬虫的框架,可以强化Python相关知识,学习一些优秀的框架,可以应用于不同的需求的爬取任务,今天IP代理精灵为大家介绍几种爬虫框架,通过对比分析:以上这些开源的爬虫框架大都是把复杂的问题解决掉,然后封装,之后就...

weixin_39855796的博客 615

Python 网络爬虫入门与实践:从基础到高级技巧

详细介绍了 Python 网络爬虫的基础知识、常用库、实战案例以及高级技巧

AI+全栈,AI+应用,实操落地,前沿技术 1693

告别手动翻页!用幻影联动+DLL调用,5分钟搞定通达信分时指标自动选股

本文详细介绍了如何利用幻影联动软件结合DLL调用技术,实现通达信分时指标的自动化选股。通过改造指标代码和配置幻影联动任务,用户可以在5分钟内完成从信号检测到自动报警的全流程,大幅提升短周期交易的效率和准确性。

weixin_42561040的博客 771

python爬虫框架排行榜-公认8个效率最高的爬虫框架

一些较为高效的Python爬虫框架。分享给大家。1.ScrapyScrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。2.PySpiderpyspider 是一个用python实现的功能强大的网络爬虫系统,能在浏览器界面上进行脚本的编写,功能的调度和爬取结果的实时查...

weixin_37988176的博客 4567

新手入门机器学习案例(附源代码)

无

guguo666的博客 6657

网络爬虫是什么?怎么学python爬虫

网络爬虫又称网络蜘蛛、网络机器人,它是一种按照一定的规则自动浏览、检索网页信息的程序或者脚本。网络爬虫能够自动请求网页,并将所需要的数据抓取下来。通过对抓取的数据进行处理,从而提取出有价值的信息。

Itmastergo的博客 3万+

电机系列(1) - foc最基本原理、clark变换 、park变换、附代码

什么是FOC? FOC(Field-Oriented Control),直译是磁场定向控制,也被称作矢量控制 (VC,Vector Control) ,是目前无刷直流电机(BLDC)和永磁同步电机(PMSM)高效控制的最优方法之一。FOC旨在通过精确地控制磁场大小与方向,使得电机的运动转矩平稳、噪声小、效率高,并且具有高速的动态响应。 简单来说就是,FOC是一种对无刷电机的驱动控制方法,它可以让我们对无刷电机进行 “像素级” 控制,实现很多传统电机控制方法所无法达到的效果。 因为所谓的“矢量控制”其实就是

nepqiu的博客 7万+

【工具】GitHub学生认证+PyCharm配置Copilot全流程指南

本文提供了一份详细的GitHub学生认证及在PyCharm中配置Copilot的完整指南。通过完成A2F认证、准备有效材料并使用干净网络环境,学生可免费获取GitHub Copilot Pro订阅,极大提升编程学习与开发效率。

w7x8y9z的博客 1462

网络爬虫-Python网络爬虫和C#网络爬虫

C# 也可以用于网络爬虫开发,通过 HTTP 请求获取网页数据并进行解析。与 Python 类似,C# 也有相应的库和框架,虽然 C# 网络爬虫在简便性和灵活性上不如 Python,但在某些企业级应用中,C# 也表现出色。

weixin_42462436的博客 3405

Python爬虫实战:携程旅游平台数据爬取(酒店+机票+景点),破解加密与反爬(附完整代码)

携程的反爬机制再复杂,核心逻辑都是“识别非真实用户的请求”,而爬虫的核心就是“让请求看起来像真实用户的行为”。本文的方案从登录态处理、参数加密破解、动态数据抓取,到反爬应对,都是围绕“模拟真实”展开:用Playwright模拟真实浏览器登录,用住宅代理模拟真实用户IP,用随机延迟模拟真实用户的操作频率。掌握了这个核心思路,无论平台的反爬如何升级,都能找到应对方法。当然,爬虫技术是一把双刃剑,合理使用才能发挥其价值。如果你的爬虫项目中遇到了携程的反爬问题,不妨按照本文的步骤试试,大概率能解决问题。

专注于Python爬虫开发,分享爬虫技巧、项目实战与反爬经验,使用Scrapy、BeautifulSoup等工具,解决数据抓取难题。 2608

Python 网络爬虫的常用库汇总(建议收藏)

Python 在编写网络爬虫常常用到的一些库。Python爬虫网络库主要包括:urllib、requests、lxml、fake-useragent、bs4(BeautifulSoup)、grab、pycurl、urllib3、httplib2、RoboBrowser 、MechanicalSoup、mechanize、socket、Unirest for Python、hyper、PySocks、treq、aiohttp等。爬虫框架Web 框架库Re库介绍:正则表达式的表示类型:raw string类型(

大模型研究中心 1万+

XCP实战系列介绍09-基于Vehicle Spy进行XCP测量步骤详解

详细介绍如何使用Vehicle Spy进行XCP测量

initiallizer的博客 1394

Python爬虫实战:绕过Cloudflare反爬的最新技术与完整代码详解

在互联网数据采集领域,越来越多的网站开始部署CDN和安全防护服务,其中 Cloudflare 是最为广泛使用的防护方案之一。它不仅为网站提供DDoS防护,还能通过JS挑战、验证码和行为分析来识别并拦截爬虫。这给爬虫工程师带来了极大挑战——如何在不违反网站服务条款的情况下,实现有效的数据采集?本文将分享Python领域绕过Cloudflare反爬的最新技术方法,结合最新流行库与自动化浏览器,帮助你攻克这一难题。绕过Cloudflare反爬不是一蹴而就,需结合多技术、多策略,持续迭代。

2201_76125261的博客 2628

【python爬虫基础入门】python爬虫requests库使用操作全解

文章目录一.HTTP协议1. HTTP协议的框架2. HTTP协议对资源的操作3. 用户对HTTP协议的操作二.requests库的安装三.requests库的7个主要使用方法1.方法的解析2.方法的使用1) get方法使用2) head方法的使用3) post方法的使用3. requests库的异常处理四.爬取网页的通用代码框架五.requests库爬虫实例1. 对京东商品页面的爬取2. 百度/...

Freedom_Blue的博客 2万+

AutosarMCAL开发——基于EB CRC驱动

本文为博主个人理解总结记录,如有不正,欢迎指正。

qq_45583706的博客 1392

一文带你掌握Python网络爬虫

Python 网络爬虫作为数据获取的有力工具,在当今数字化时代发挥着重要作用。通过本文,我们深入了解了爬虫的基本概念、工作流程、常用库以及实战应用。从简单的网页请求与解析,到复杂的反爬虫策略应对,每一个环节都蕴含着丰富的技术知识和实践技巧。在实际应用中,爬虫已经广泛渗透到各个领域,如市场调研、数据分析、舆情监测等。它帮助企业和研究人员快速获取大量有价值的数据,为决策提供了有力支持。但我们也不能忽视爬虫使用过程中的法律和道德问题,遵守 Robots 协议、保护数据隐私和合法使用数据是我们必须坚守的原则。

远程部署调试 运行安装 项目调试 二次开发 项目技术新 持续迭代 部分源码免费分享 4668

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

蓝牙模块HM-10手册

蓝牙模块HM-10手册,该手册对蓝牙模块HM-10进行了详细的介绍和使用方法以及一些AT指令。

上一篇: Python笔记:网络爬虫的基础应用与异常处理
下一篇: Python笔记:网络爬虫之模拟人人网登录及获取数据的过程详解
Wang's Blog
博客等级 码龄12年 7440粉丝 2427原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Wang's Blog

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值