爬虫学习之路

原创 已于 2023-12-04 20:59:04 修改 · 1k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#爬虫 #学习

于 2023-11-22 21:48:59 首次发布
本文介绍了爬虫的基本概念、应用场景，包括数据采集、模拟操作、软件测试和网络安全，以及HTTP和HTTPS协议。详细讲解了requests模块的使用，涉及实战案例如爬取搜狗、百度翻译、豆瓣电影和肯德基餐厅数据。同时讨论了反爬机制、合法性的考量和一般开发流程。

文章目录

一、爬虫的概念

1.爬虫的定义

  • 如果我们把互联网比作一张大的蜘蛛网，那一台计算机上的数据便是蜘蛛网上的一个猎物，而爬虫程序就是一只小蜘蛛，沿着蜘蛛网抓取自己想要的猎物/数据。
  • 下面就给出书面化的定义
    网络爬虫也叫网络蜘蛛，它特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义。
  • 更加专业和全面对的定义是:网络爬虫是伪装成客户端与服务端进行数据交互的程序.

2.爬虫的应用

（1）数据采集

大数据时代来临，数据就是核心，数据就是生产力，越来越多的企业开始注重收集用户数据，而爬虫技术是收集数据的一种重要手段。
比如:抓取微博评论（机器学习舆情监控)、抓取招聘网站的招聘信息（数据分析，挖掘)、百度新闻网站。

（2）模拟操作

爬虫也被广泛用于模拟用户操作，测试机器人，灌水机器人等。

（3）软件测试

爬虫之自动化测试虫师

（4）网络安全

短信轰炸web漏洞扫描

（5）搜索引擎

百度，谷歌等搜索引擎都是基于爬虫技术。

3.爬虫的合法性

  • 在法律中是不被禁止
  • 具有违法风险
  • 善意爬虫 恶意爬虫

爬虫带来的风险可以体现在如下2方面：

  • 爬虫干扰了被访问网站的正常运营
  • 爬虫抓取了收到法律保护的特定类型的数据或信息

如何在使用编写爬虫的过程中避免进入局子的厄运呢？

  • 时常的优化自己的程序，避免干扰被访问网站的正常运行
  • 在使用，传播爬取到的数据时，审查抓取到的内容，如果发现了涉及到用户隐私商业机密等敏感内容需要及时停止爬取或传播

4.爬虫的分类

  • 通用爬虫：
    抓取系统重要组成部分。抓取的是一整张页面数据。主要目的是将互联网的网页下载到本地，形成一个互联网内容的镜像备份。(但是有一个很大的问题就是它们具有很大的局限性:大部分内容没有用——不同的搜索目的，返回的内容相同!)
  • 聚焦爬虫：
    是建立在通用爬虫的基础之上。抓取的是页面中特定的局部内容。聚焦爬虫在实施页面抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页信息!
  • 增量式爬虫：
    检测网站中数据更新的情况。只会抓取网站中最新更新出来的数据。

5.爬虫的矛与盾

反爬机制
门户网站，可以通过制定相应的策略或者技术手段，防止爬虫程序进行网站数据的爬取。

反反爬策略
爬虫程序可以通过制定相关的策略或者技术手段，破解门户网站中具备的反爬机制，从而可以获取门户网站中相关的数据。

robots.txt协议：
君子协议：规定了网站中哪些数据可以被爬虫爬取哪些数据不可以被爬取。
csdn
在这里插入图片描述

6.爬虫的一般开发流程

①最简单的单一页面数据的爬取:
url——>发送请求，获取响应——>提取数据——>保存数据
②多页面数据的爬取:
发送请求，获取响应——>提取url地址，继续请求

  • 模拟请求网页。模拟浏览器，打开目标网站。
  • 获取数据。打开网站之后，就可以自动化的获取我们所需要的网站数据。
  • 保存数据。拿到数据之后，需要持久化到本地文件或者数据库等存储设备中。

二、HTTP和HTTPS

网络爬虫是伪装成客户端与服务端进行数据交互的程序。那么，客户端和服务端该怎样进行数据交互呢?就像我们中国人用中文交流，说的中国的语法，我们可以正常沟通。客户端与服务端如果不统一一下，那不就乱套了，所以在网络传输方面产生了众多协议，HTTP就是其中一种。

目前互连网上90%的网络传输都是基于http协议
（补充: http协议是一个应用层协议)。
（注意:爬取想要的数据前，一定要明确其使用的是什么协议!虽然90%都是基于http协议，但是仍有10%采用的是其他的协议。
——比如:弹幕可能采取的是websocket协议 ! 这样的话，我们采取传统的爬虫就无法爬取到了。

1.http协议

(1)概念

官方概念
HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写是用于从万维网(WWW:World WideWeb )服务器传输超文本到本地浏览器的传送协议。

白话概念
HTTP协议就是服务器和客户端之间进行数据交相(互传输数据)的一种形式。我们可以将Server和Client进行拟人化，那么该协议就是Server和Cient这两兄弟间定的一种交沟通方式。大家都看过智取威虎山中杨子荣和土匪们之间说的黑话吧~

（2）常用请求头信息

  • User-Agent：请求载体的身份标识
    鼠标右击，点击检查，页面的右上角，点击网络后查看 在这里插入图片描述 - Connection：请求完毕后，是断开连接还是保持连接

（3）常用响应头信息

  • Content-Type：服务器响应回客户端的数据类型

2.https协议

  • 安全的超文本传输协议
  • 有数据加密

（1）加密方式

①对称秘钥加密
“共享密钥加密”，较为容易被拦截
在这里插入图片描述
②非对称秘钥加密
“非对称加密"使用的时候有两把锁，一把叫做**“私有密钥"，一把是“公开密钥”**，使用非对象加密的加密方式的时候，服务器首先告诉客户端按照自己给定的公开密钥进行加密处理，客户端按照公开密钥加密以后，服务器接受到信息再通过自己的私有密钥进行解密，这样做的好处就是解密的钥匙根本就不会进行传输，因此也就避免了被挟持的风险。就算公开密钥被窃听者拿到了，它也很难进行解密，因为解密过程是对离散对数求值，这可不是轻而易举就能做到的事。
以下是非对称加密的原理图:

在这里插入图片描述

  • 证书秘钥加密（https采用的方式）
    在这里插入图片描述

三、requests模块基础

1.概念

requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。

2.作用

模拟浏览器发请求。

3.如何使用

如何使用：（requests模块的编码流程）

  • 指定url
    • UA伪装
    • 请求参数的处理
  • 发起请求
  • 获取响应数据
  • 持久化存储

4.环境安装：

pip install requests

在这里插入图片描述

5.实战编码：

(1)实战编码需求：爬取搜狗首页的页面数据

import requests
if __name__ == "__main__":
    # 1.指定url
    url = 'https://www.sogou.com/'
    # 2.发起请求
    #get方法会返回一个相应对象
    response=requests.get(url=url)
    # 3.获取响应数据.text返回字符串形式的相应数据
    page_text=response.text
    print(page_text)
    # 4.持久化存储
    with open('./sogou.html','w',encoding='utf-8') as fp:
        fp.write(page_text)
    print("爬取数据结束！开心，爬出来的第一个数据")

 获得一个存在本地的文件，可以查看源代码

在这里插入图片描述

 运行代码html代码后即可构建和官网一样的搜狗页面

在这里插入图片描述

(2)实战巩固

 response=requests.get(url=url,params=param,headers=headers)
需求1：爬取搜狗指定词条对应的搜索结果页面（简易网页采集器）
  • UA：User-Agent（请求载体的身份标识）
  • UA检测：门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，说明该请求是一个正常的请求。但是，如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常的请求（爬虫），则服务器端就很有可能拒绝该次请求。
  • UA伪装：让爬虫对应的请求载体身份标识伪装成某一款浏览器
import requests
if __name__ == "__main__":
    #UA伪装：将对应的User-Agent封装到一个字典中
    headers = {
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36'
    }
    url = 'https://www.sogou.com/web'
    #处理url携带的参数：封装到字典中
    kw = input('enter a word:')
    param = {
        'query':kw
    }
    #对指定的url发起的请求对应的url是携带参数的，并且请求过程中处理了参数
    response = requests.get(url=url,params=param,headers=headers)
    page_text = response.text
    fileName = kw+'.html'
    with open(fileName,'w',encoding='utf-8') as fp:
        fp.write(page_text)
    print(fileName,'保存成功！！！')
需求2：破解百度翻译
  • post请求（携带了参数）
  • 响应数据是一组json数据
    在这里插入图片描述
    定位数据包
    在这里插入图片描述
    响应数据是一组json数据
    在这里插入图片描述
    - 请求方法post
    在这里插入图片描述
import requests
import json
if __name__=="__main__":
    #1.指定URL
    post_url="https://fanyi.baidu.com/sug"
    #2.进行UA伪装
    headers={
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0'
    }
    #3.post请求参数处理（像get请求一致）
    word=input('enter a word:')
    data={
        'kw':word
    }
    #4.发送请求
    response=requests.post(url=post_url,data=data,headers=headers)
    #5.获取响应数据：json（）方法返回的是obj（如果确认响应数据是json类型的，才能用json）
    dic_obj =response.json()
    #进行持久化存储
    filename=word+'.json'
    fp = open(filename,'w',encoding='utf-8')
    json.dump(dic_obj,fp=fp,ensure_ascii=False)
    print("over!")
需求3：爬取豆瓣电影分类排行榜中的电影详情数据

在这里插入图片描述

本人学习时参考了以下博主的一篇文章——pycharm 中一键添加引号:http://t.csdnimg.cn/pVp5Z

import requests
import json

if __name__ == "__main__":
    # 1.指定URL
    count=int(input())
    url = "https://movie.douban.com/j/chart/top_list"
    param = {
        'type': '24',
        'interval_id': '100:90',
        'action': '',
        'start': count, #从库中第几部电影开始取
        'limit': '20',#一次性取几个
    }
    # 2.进行UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36 Edg/119.0.0.0'
    }
    response = requests.get(url=url, params=param,headers=headers)
    list_date=response.json()
    fp=open('./douban.json','w',encoding='utf-8')
    json.dump(list_date,fp=fp,ensure_ascii=False)
    print("over!!!")

json校验格式化工具：https://www.bejson.com/

作业：爬取肯德基餐厅中指定地点的餐厅数据

查询http://www.kfc.com.cn/kfccda/index.aspx
在这里插入图片描述

#!/usr/bin/env python 
# -*- coding:utf-8 -*-
import requests
import json
if __name__ == "__main__":
    place=input("请输入你想查询的地点：")
    # 1.指定URL
    url = 'http://www.kfc.com.cn/kfccda/ashx/GetStoreList.ashx?op=keyword'

    # 2.UA伪装
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
    }
    params = {
        'cname': '',
        'pid': '',
        'keyword': place,
        'pageIndex':'1',
        'pageSize': '1000',
    }
    # 3.产生响应
    response = requests.post(url=url, params=params, headers=headers)
    # 4.持久封装
    place_data=response.json()
    fp = open('./肯德基餐厅位置.json', 'w', encoding='utf-8')
    json.dump(place_data, fp=fp, ensure_ascii=False)
    print("over!!!")
需求4：爬取国家药品监督管理总局中基于中华人民共和国化妆品生产许可证相关数据
  • 动态加载数据
  • 首页中对应的企业信息数据是通过ajax动态请求到的。
    http://125.35.6.84:81/xk/itownet/portal/dzpz.jspid=e6c1aa332b274282b04659a6ea30430a
    http://125.35.6.84:81/xk/itownet/portal/dzpz.jsp?id=f63f61fe04684c46a016a45eac8754fe
  • 通过对详情页url的观察发现：
  • url的域名都是一样的，只有携带的参数（id）不一样
  • id值可以从首页对应的ajax请求到的json串中获取
  • 域名和id值拼接处一个完整的企业对应的详情页的url
  • 详情页的企业详情数据也是动态加载出来的
  • http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById
    - http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById
    - 观察后发现：
    - 所有的post请求的url都是一样的，只有参数id值是不同。
    - 如果我们可以批量获取多家企业的id后，就可以将id和url形成一个完整的详情页对应详情数据的ajax请求的url
某局药品查询之逆向分析
liberty888的博客
08-09 1737
某局药品查询之逆向分析
逆向爬虫进阶实战：突破反爬虫机制，实现数据抓取
热门推荐
zhangxia_的博客
12-06 1万+
逆向爬虫进阶实战是一项具有挑战性和实用性的技术。通过对网站结构、加密算法、验证码识别等方面进行深入研究和探索，我们可以突破各种反爬虫机制的限制，实现对目标网站的深入分析和抓取。未来随着网络技术的不断发展，逆向爬虫技术也将不断进步和完善为我们的生活和工作带来更多的便利和可能性。本书以爬虫逆向方向的相关技术和岗位要求进行撰写，总结了爬虫的架构体系、主流框架和未来发展。书中包括各种自动化工具、抓包工具、逆向工具的使用。
Python爬虫---爬虫介绍，实战案例
Sun123234的博客
01-20 2934
Python爬虫---爬虫介绍，实战案例
药监局瑞数逆向记录
qlyb_lv的博客
10-29 1491
药监局html页面只有瑞数反爬，先记录一下
产业政策大数据 spolicy 爬虫逆向 解密 Py代码获取数据 较难 2023版
搞定 Python
08-23 2075
我们需要找到requeset的拦截器，可以看到这里有8个 axiosInstance，我们在可疑处打上断点。该网页直接按键盘f12无调试页面出来，chrome浏览器需要鼠标右键随后点击“检查"选项进入调试页面。多次点击单步调试发现在此处data会变成密文，这里无法跟栈，我们需要重新debug调试。我们再次点击一下三角按钮,可以看到出现一个data属性，这个就是我们要加密的数据。这里我们发送的报文r已经是加密后的一串数字了，我们需要找到原始加密报文。我们还原后是,我们需要获取f['encode']方法。
Python爬虫学习之路项目_从零开始掌握网络数据抓取与自动化处理技术_涵盖requests库HTTP请求发送BeautifulSoup与XPath内容解析反爬虫策略如User.zip
08-28
本项目名为“Python爬虫学习之路”，旨在帮助初学者从零开始掌握网络数据抓取与自动化处理技术。 项目内容涵盖了requests库的使用，这是Python中最常用的HTTP请求库之一，它能够帮助开发者以简单的方式发送HTTP/1.1...
Python爬虫学习之路项目-从零开始掌握网络数据抓取与自动化处理技术-涵盖requests库HTTP请求发送BeautifulSoup与XPath内容解析反爬虫策略如User.zip
最新发布
09-15
Python爬虫学习之路是一个全面的项目，它从零开始逐步引导学习者掌握网络数据的抓取与自动化处理技术。通过本项目的实践，学习者不仅能够学到技术层面的知识，还能了解到爬虫开发中遇到的各种问题以及解决这些问题的...
精选资源
python 爬虫学习资料.zip
11-12
Python爬虫学习资料是一个丰富的资源集合，旨在帮助初学者和有经验的开发者深入理解Python爬虫技术。Python作为一门简洁且强大的编程语言，是网络爬虫领域的首选工具，因其易于学习且拥有众多相关的库和框架。 一、...
精选资源
基于python爬虫学习项目源码.zip
09-23
基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习项目源码.zip基于python爬虫学习...
精选资源
python 爬虫学习笔记
03-09
Python 爬虫学习笔记 本文将详细介绍 Python 爬虫学习笔记的知识点，涵盖爬虫基础、网络和前端基础、Requests 模块、请求头、GET 和 POST 请求、代理、Cookie 模拟登录、Quote 和 Unquote、登录和获取 Cookie、Post...
优快云爬虫（五）——优快云用户(所有)爬取+常用爬虫正则整理
高远的博客
10-17 1万+
优快云爬虫（五）——优快云用户(所有)爬取+常用爬虫正则整理说明 开发环境：jdk1.7+myeclipse10.7+win74bit+mysql5.5+webmagic0.5.2+jsoup1.7.2 爬虫框架：webMagic 建议：建议首先阅读webMagic的文档，再查看此系列文章，便于理解，快速学习：http://webmagic.io/ 开发所需jar下载（不包括数据库操作相关jar
Python爬虫教程:入门爬取网页数据
weixin_68789096的博客
09-09 3916
本文简单介绍了爬虫的基础知识以及需要用的库和方法，并做了非常简单的示例。总地来说，爬虫就是模拟网络请求，并解析、提取出我们想要的数据。爬虫可以帮助我们更快地获取网站上的数据，为工作和生活带来诸多便利。当然，也希望在学习 python 爬虫的过程中，大家能够更好的理解和应用 python的语法。
怎样利用 python 学习爬虫？
m0_58477260的博客
04-26 398
一文搞懂Python—>爬虫需要学什么
爬虫实战，抓取论坛帖子内容
Python栈
05-18 3139
本文主要内容：以最短的时间写一个最简单的爬虫，可以抓取论坛的帖子标题和帖子内容。本文受众：没写过爬虫的萌新。
爬虫入门教程
m0_73673163的博客
03-10 2387
一般来说，爬虫爬取数据的基本流程总共需要四个步骤，分别是确定目标、发送请求、解析HTML、数据处理。确定目标：即确定你要爬取的网站的URL，明确包含所需数据的目标网址或页面，这是整个流程的第一步，决定了你要获取什么数据和你要怎样设计爬虫程序。发送请求：使用编程语言（一般爬虫程序用的都是Python）中一些发送请求的库发送请求到目标网址，并获取HTML响应。如我们可以使用Python中的requests库对目标网址发起请求，一般发送请求的方法为GET和POST，这个视具体情况而定。
scrapy爬取优快云论坛问题及内容
j123__的博客
09-23 702
爬虫相信大家都有所了解，我对爬虫就不做详细介绍了。本次我决定使用scrapy爬取优快云论坛发布的问题以及回答的内容。 首先，我们需要创建一个scrapy项目。 scrapy startproject test1 然后进入scrapy项目中，创建一个爬虫。 #进入scrapy项目中 cd test1 #创建爬虫 scrapy genspider csdn_spider bbs.cs...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值