python爬虫入门(1)

本文介绍了Python基础爬虫技术,包括使用requests库发送HTTP请求获取响应,利用BeautifulSoup解析HTML文档,以及正则表达式的应用。通过实例展示了如何查找标签、属性和文本,以及正则表达式的模式匹配。最后提到了json模块在数据处理中的作用,给出了疫情数据采集的实战案例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

python爬虫(基础篇)

网络爬虫:模拟客户端发送请求获取响应数据,按照一定规则,自动从万维网上获取信息的程序。

1 requests请求库

是一个优雅而简单的python HTTP请求库,作用是发送请求获取响应数据。

基本使用

import requests
#发送请求,获取响应
response=requests.get('http://www.baidu.com')
#print(response)
#获取响应数据
response.encoding='utf-8'   #改变编码方式
print(response.text)
#更简易方式 response.content.decode()     content熟悉为响应内容的二进制,decode默认utf-8

2 Beautiful Soup

是一个可以从HTML或XML文件中提取数据的python库

安装:bs4,lxml(解析库)

lxml是一个解析器,也是下面的xpath要用到的库,bs4将网页字符串生成对象的时候需要用到解析器,就用lxml,或者使用官方自带的解析器 html.parser

bs对象

代表要解析的整个文档树,它支持遍历文档树和搜索文档树中描述的大部分方法。

#创建
from bs4 import BeautifulSoup
soup=BeautifulSoup('<html>data</html>','lxml')
print(soup)

bs对象中find方法

作用:搜索文档树

find(self,name=None,attrs={},recursive=True,text=None,**kwargs)

参数:

​ name:标签名

​ attrs:属性字典

​ recursive:是否递归循环查找

​ text:根据文本内容查找

返回:

​ 查找到的第一个元素对象

​ find_all:返回所有

1 根据标签名查找
from bs4 import BeautifulSoup
#准备文档字符串
html='''   '''
#创建bs对象
soup=BeautifulSoup(html,'lxml')
#查找标签
title=soup.find('title')
print(title)
2 根据属性进行查找
#查找id为link1的标签
# 1 通过命名参数进行指定
a=soup.find(id='link1')
print(a)
# 2 通过attrs来指定属性字典,进行查找(更通用)
a=soup.find(attrs={'id':'link1'})
print(a)
3 根据文本内容进行查找
text=soup.find(text='aaa')
print(text)

Tag对象

对应于原始文档中的XML或HTML标签

Tag有很多方法和属性,可用遍历文档树和搜索文档树来获取标签内容

常见属性:

name:获取标签名称

attrs:获取标签所有属性的键和值

text:获取标签的文本字符串

# 标签名 a
print('标签名',a.name)
print('标签所有属性',a.attrs)
print('标签文本内容',a.text)

3 正则表达式

正则表达式是一种字符串匹配的模式。

作用:

检查一个字符串是否含有某个子串

替换匹配的子串

提取某个字符串中匹配的子串

基本匹配模式

模式字符串使用特殊的语法来表示一个正则表达式:

字母和数字表示他们自身。一个正则表达式模式中的字母和数字匹配同样的字符串。

多数字母和数字前加一个反斜杠时会拥有不同的含义。

标点符号只有被转义时才匹配自身,否则它们表示特殊的含义。

反斜杠本身需要使用反斜杠转义。

由于正则表达式通常都包含反斜杠,所以你最好使用原始字符串来表示它们。模式元素(如 r’\t’,等价于 \t )匹配相应的特殊字符。

下表列出了正则表达式模式语法中的特殊元素。如果你使用模式的同时提供了可选的标志参数,某些模式元素的含义会改变。

模式描述
^匹配字符串的开头
$匹配字符串的末尾。
.匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符。
[…]用来表示一组字符,单独列出:[amk] 匹配 ‘a’,‘m’或’k’
[^…]不在[]中的字符:[^abc] 匹配除了a,b,c之外的字符。
re*匹配0个或多个的表达式。
re+匹配1个或多个的表达式。
re?匹配0个或1个由前面的正则表达式定义的片段,非贪婪方式
re{ n}匹配n个前面表达式。例如,"o{2}“不能匹配"Bob"中的"o”,但是能匹配"food"中的两个o。
re{ n,}精确匹配n个前面表达式。例如,"o{2,}“不能匹配"Bob"中的"o”,但能匹配"foooood"中的所有o。"o{1,}“等价于"o+”。"o{0,}“则等价于"o*”。
re{ n, m}匹配 n 到 m 次由前面的正则表达式定义的片段,贪婪方式
a| b匹配a或b
(re)匹配括号内的表达式,也表示一个组
(?imx)正则表达式包含三种可选标志:i, m, 或 x 。只影响括号中的区域。
(?-imx)正则表达式关闭 i, m, 或 x 可选标志。只影响括号中的区域。
(?: re)类似 (…), 但是不表示一个组
(?imx: re)在括号中使用i, m, 或 x 可选标志
(?-imx: re)在括号中不使用i, m, 或 x 可选标志
(?#…)注释.
(?= re)前向肯定界定符。如果所含正则表达式,以 … 表示,在当前位置成功匹配时成功,否则失败。但一旦所含表达式已经尝试,匹配引擎根本没有提高;模式的剩余部分还要尝试界定符的右边。
(?! re)前向否定界定符。与肯定界定符相反;当所含表达式不能在字符串当前位置匹配时成功。
(?> re)匹配的独立模式,省去回溯。
\w匹配数字字母下划线
\W匹配非数字字母下划线
\s匹配任意空白字符,等价于 [\t\n\r\f]。
\S匹配任意非空字符
\d匹配任意数字,等价于 [0-9]。
\D匹配任意非数字
\A匹配字符串开始
\Z匹配字符串结束,如果是存在换行,只匹配到换行前的结束字符串。
\z匹配字符串结束
\G匹配最后匹配完成的位置。
\b匹配一个单词边界,也就是指单词和空格间的位置。例如, ‘er\b’ 可以匹配"never" 中的 ‘er’,但不能匹配 “verb” 中的 ‘er’。
\B匹配非单词边界。‘er\B’ 能匹配 “verb” 中的 ‘er’,但不能匹配 “never” 中的 ‘er’。
\n, \t, 等。匹配一个换行符。匹配一个制表符, 等
\1…\9匹配第n个分组的内容。
\10匹配第n个分组的内容,如果它经匹配。否则指的是八进制字符码的表达式。
1111111111

字符匹配实例

字符匹配
实例描述
python匹配 “python”.
字符类
实例描述
[Pp]ython匹配 “Python” 或 “python”
rub[ye]匹配 “ruby” 或 “rube”
[aeiou]匹配中括号内的任意一个字母
[0-9]匹配任何数字。类似于 [0123456789]
[a-z]匹配任何小写字母
[A-Z]匹配任何大写字母
[a-zA-Z0-9]匹配任何字母及数字
[^aeiou]除了aeiou字母以外的所有字符
[^0-9]匹配除了数字外的字符
特殊字符类(预定义字符集)
实例描述
.匹配除 “\n” 之外的任何单个字符。要匹配包括 ‘\n’ 在内的任何字符,请使用象 ‘[.\n]’ 的模式。
\d匹配一个数字字符。等价于 [0-9]。
\D匹配一个非数字字符。等价于 [^0-9]。
\s匹配任何空白字符,包括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
\S匹配任何非空白字符。等价于 [^ \f\n\r\t\v]。
\w匹配包括下划线的任何单词字符。等价于’[A-Za-z0-9_]’。
\W匹配任何非单词字符。等价于 ‘[^A-Za-z0-9_]’。

使用

import re
#字符匹配
rs=re.findall('abc','abc')
rs=re.findall('a[bc]d','abc')
#预定义的字符集
rs=re.findall('\d','123')
#数量词
rs=re.findall('\d*','123')
rs=re.findall('\d{2}','123')     #指定次数
print(rs)

re.fiandall()方法

API
  • re.findall(pattern,string,flags=0)

  • 作用:扫描整个string字符串,返回所有与pattern匹配的列表

  • 参数

    1. pattern:正则表达式
    2. string:要匹配的字符串
    3. 匹配模式
  • 举例

    re.findall('\d','hao1hao2')>>['1','2']
    
使用
#flags参数的作用
rs=re.findall('a.bc','a\nc',re.S)
#findall方法中分组的使用
rs=re.findall('a.+bc','a\nc',re.S)
rs=re.findall('a(.+)bc','a\nc',re.S)  
#分组后只返回括号内匹配的内容,括号两边字符用以定位

正则中r原串

#不使用r原串,遇到转义符怎么办
rs=re.findall('a\nbc','a\nc')
rs=re.findall('a\\\\nbc','a\\nc')
#r原串在正则中可以消除转义符带来的影响
rs=re.findall(r'a\\nbc','a\\nc')

4 json模块

json模块是python自带的模块,用于json与python数据之间的相互转换。

json转python

image-20210302171958122

python转json

image-20210302172811640

image-20210302172827873

5 项目实例:疫情数据采集

思路

1.发送请求,获取疫情首页

2.从疫情首页中提取近一日各国疫情字符串

3.提取json格式字符串

4.将json格式字符串转化为python类型

import requests
from bs4 import BeautifulSoup
import re
import json

response=requests.get('https://ncov.dxy.cn/ncovh5/view/pneumonia')
home_page=response.content.decode()

soup=BeautifulSoup(home_page,'lxml')
script=soup.find(id="getListByCountryTypeService2true")

text=script.string
json_str=re.findall(r'\[.+\]',text)[0]

last_day=json.loads(json_str)
print(last_day)

参考:黑马程序员

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Snakin_ya

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值