python爬虫

最新推荐文章于 2024-05-07 15:56:26 发布

m0_58680806

最新推荐文章于 2024-05-07 15:56:26 发布

阅读量256

点赞数

分类专栏： Python 文章标签： python 爬虫 json

本文链接：https://blog.youkuaiyun.com/m0_58680806/article/details/122159266

版权

Python 专栏收录该内容

11 篇文章

订阅专栏

本文介绍了网络爬虫的基本原理和流程，包括发起请求、获取响应内容、解析内容和保存数据。通过requests库发送HTTP请求，获取HTML、JSON等信息，使用正则、BeautifulSoup等解析数据，并将其存储到文件或数据库。爬虫技术在大数据时代用于筛选和分析信息，广泛应用于各个领域。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python爬虫

前提

请求网站并提取数据的自动化程序, 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
爬虫基本流程

    发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。
    获取响应内容：如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）等类型。
    解析内容：得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。
    保存数据：保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。

为什么我们要使用爬虫

互联网大数据时代，给予我们的是生活的便利以及海量数据爆炸式的出现在网络中。
过去，我们通过书籍、报纸、电视、广播或许信息，这些信息数量有限，且是经过一定的筛选，信息相对而言比较有效，但是缺点则是信息面太过于狭窄了。不对称的信息传导，以致于我们视野受限，无法了解到更多的信息和知识。
互联网大数据时代，我们突然间，信息获取自由了，我们得到了海量的信息，但是大多数都是无效的垃圾信息。
例如新浪微博，一天产生数亿条的状态更新，而在百度搜索引擎中，随意搜一条——减肥100,000,000条信息。
在如此海量的信息碎片中，我们如何获取对自己有用的信息呢？
答案是筛选！
通过某项技术将相关的内容收集起来，在分析删选才能得到我们真正需要的信息。
这个信息收集分析整合的工作，可应用的范畴非常的广泛，无论是生活服务、出行旅行、金融投资、各类制造业的产品市场需求等等……都能够借助这个技术获取更精准有效的信息加以利用。
网络爬虫技术，虽说有个诡异的名字，让能第一反应是那种软软的蠕动的生物，但它却是一个可以在虚拟世界里，无往不前的利器。

获取响应内容

爬虫程序在发送请求后，如果服务器能正常响应，则会得到一个Response，即响应；

Response 信息包含：html、json、图片、视频等，如果没报错则能看到网页的基本信息。例如：一个的获取网页响应内容程序如下：

import requests
request_headers={
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
'Cookie': 'BIDUPSID=088AEC1E85F75590978FB3643E131FBA; PSTM=1603682377; BD_UPN=12314753; BDUSS_BFESS=s877ukkvpiduup96naoovu0b94; __yjs_duid=1_04c448abb85383e7fef98fb64b828cce1611538687284; BAIDUID=C6421D51B2DBFF82716EE84B116A4EF8:FG=1; BDSFRCVID_BFESS=rqtOJeC62uF1xmOeQXfguRnVq2hi4t5TH6aINJzxxKt_7w4IsZNSEG0PVf8g0Kubuo1BogKKWeOTHx8F_2uxOjjg8UtVJeC6EG0Ptf8g0f5; H_BDCLCKID_SF_BFESS=tbCH_ItXfCP3JRnYb-Qoq4D_MfOtetJyaR0fKU7vWJ5TEJjz3tuabp_8Lx4H3bQNaHc3Wlvctn3cShPCy-7m-p_z-J6bK6jULNchMhrL3l02VMQae-t2ynLV5HAOW-RMW23U0l7mWPPWsxA45J7cM4IseboJLfT-0bc4KKJxbnLWeIJEjjChDTcyeaLDqbQX2COXsROs2ROOKRcgq4bohjPDynn9BtQmJJrtX4Jtb4oqE4FxQRoChlKJhJAO2JJqQg-q3R5lLt02VlQueq3vBP0Fbfv80x-jLIOOVn0MW-KVo-Jz5tnJyUPibtnnBnkO3H8HL4nv2JcJbM5m3x6qLTKkQN3T-PKO5bRu_CFbtC_hMD-6j6RV-tAjqG-jJTkjt-o2WbCQ-tjM8pcNLTDK5f5L2Mc9Klov5DvtbJrC-CosjDbmjqO1j4_PX46EhnvibN8fLKbY-McFVp5jDh34b6ksD-Rt5JQytmry0hvcQb5cShn9eMjrDRLbXU6BK5vPbNcZ0l8K3l02V-bIe-t2b6Qh-p52f6LjJbC83e; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; H_PS_PSSID=33425_33439_33258_33272_31660_33463_33459_33321_33264; BAIDUID_BFESS=983CAD9571DCC96332320F573A4A81D5:FG=1; delPer=0; BD_CK_SAM=1; PSINO=7; BDRCVFR[tox4WRQ4-Km]=mk3SLVN4HKm; BDRCVFR[-pGxjrCMryR]=mk3SLVN4HKm; BDRCVFR[CLK3Lyfkr9D]=mk3SLVN4HKm; BDRCVFR[dG2JNJb_ajR]=mk3SLVN4HKm; BD_HOME=1; H_PS_645EC=0c49V2LWy0d6V4FbFplBYiy6xyUu88szhVpw2raoJDgdtE3AL0TxHMUUFPM; BA_HECTOR=0l05812h21248584dc1g38qhn0r; COOKIE_SESSION=1_0_8_3_3_9_0_0_7_3_0_1_5365_0_3_0_1614047800_0_1614047797%7C9%23418111_17_1611988660%7C5; BDSVRTM=1',
'Host':'www.baidu.com',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.182 Safari/537.36'}
 
response = requests.get('https://www.baidu.com/s',params={'wd':'帅哥'},headers=request_headers) #params内部就是调用urlencode
print(response.text)

以上内容输出的就是网页的基本信息，它包含 html、json、图片、视频等，如下图所示：

Response 响应后会返回一些响应信息，例下：

1、响应状态

200：代表成功

301：代表跳转

404：文件不存在

403：权限

502：服务器错误

2、Respone header

set-cookie：可能有多个，是来告诉浏览器，把cookie保存下来

3、preview 是网页源代码

最主要的部分，包含了请求资源的内容，如网页html、图片、二进制数据等

3、解析内容

解析 html 数据：解析 html 数据方法有使用正则表达式、第三方解析库如 Beautifulsoup，pyquery 等

解析 json 数据：解析 json数据可使用 json 模块

解析二进制数据:以 b 的方式写入文件

4、保存数据

爬取的数据以文件的形式保存在本地或者直接将抓取的内容保存在数据库中，数据库可以是 MySQL、Mongdb、Redis、Oracle 等……
写在最后

爬虫的总流程可以理解为：蜘蛛要抓某个猎物-->沿着蛛丝找到猎物-->吃到猎物；即爬取-->解析-->存储；

在爬取数据过程中所需参考工具如下：

爬虫框架：Scrapy

请求库：requests、selenium

解析库：正则、beautifulsoup、pyquery

存储库：文件、MySQL、Mongodb、Redis……

418

这是一个梗大家可以百度下

418 I’m a teapot

The HTTP 418 I’m a teapot client error response code indicates that
the server refuses to brew coffee because it is a teapot. This error
is a reference to Hyper Text Coffee Pot Control Protocol which was an
April Fools’ joke in 1998.

这段就是我们读取网页的内容，设置编码为utf-8，目的就是为了防止乱码。

  html = response.read().decode("utf-8")

总结
1、爬取数据我个人总结就是大致的 3点：

    请求数据
    进行数据处理
    写数据

第一点请求的数据会有几种可能：
1、很简单的html页面。。就直接requests就可以请求成功
2、js渲染的页面（这种页面超多）requests请求一堆js数据，模块 selenium （代码基于浏览器运行）
3、需要登录才能获取用的cookie 请求登录
4、json数据

第二点数据处理会有几种可能：

1、请求的数据是简单的html结构页面–直接BS4解析就好了
2、请求的数据是json–导入json模块进行解析
3、请求的数据是简单的js渲染的html页面
其实就是js拼写的html,只要把其他无用的数据匹配掉用正则找到剩下想要的html文本就好了、然后BS4解析。。

第三点写数据
open方法进行文件打开里面的参数进行文件格式设置，读写文件、编码格式操作
with open(“XXX.xxx”,“a”,encoding=“utf-8”) as f :
f.write(’’‘写入的数据’’’)
文件格式我用过的就是txt、csv 、xml 大部分文本格式都支持的。
a–是创建文件每次写都是重新创建
w–是追加
a–是读数据
encoding="utf-8"这句话不加encoding= 在windows系统下会报编码错误。
然后就是数据量太大写入到数据库
数据库就用sqlite 记得引入模块 import sqlite3
2、爬取路线选择

静态网页：静态网页以及少量表单交互的网站可以使用如下的技术路线：
requests + BeautifulSoup + select css选择器
requests + BeautifulSoup + find_all 进行信息提取
requests + lxml/etree + xpath 表达式
requests + lxml/html/fromstring + xpath 表达式
动态网页。简单动态网页，需要有点击或者提交的可以参考selenium + phantomJS组合使用。