网页解析理器beautifulsoup

最新推荐文章于 2022-07-24 12:50:03 发布

原创最新推荐文章于 2022-07-24 12:50:03 发布 · 273 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发语言

python 专栏收录该内容

18 篇文章

订阅专栏

本文介绍了Python爬虫的基础，包括使用pip安装lxml和bs4库，通过BeautifulSoup进行网页源代码的美化和解析。讲解了soup.title获取标题，soup.head获取头部，soup.a获取a标签的方法，以及soup.find_all()和soup.select()用于查找多个标签。同时，展示了如何获取a标签的href属性值。文章适合初学者入门学习Python网络爬虫。

一/安装

pip install lxml

pip install bs4

安装完毕后再pip安装目录的lib\site-packages下可以看到相应的包

二/美化源代码soup.prettify()

import requests
from bs4 import BeautifulSoup
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.67 Safari/537.36'}
url='https://xiaohua.zol.com.cn/baoxiao/1.html'
r = requests.get(url, headers=headers)
soup=BeautifulSoup(r.text,'lxml')
#美化源代码
#print(soup.prettify())

三/soup.title获取标题 soup.head获取头部 soup.a返回a标签

注意:用点.返回的都是第一个符合要求的标签

四/soup.find_all()返回一个list

soup.find(‘标签名’，{‘属性名’：属性值})

五/soup.select()筛选元素，返回list

括号中标签名不加任何修饰 soup.select('a')，可以通过空格表示层级关系

soup.select（‘ul li span’）

啥是标签？html代码中中<>开头的

class需要加点soup.select('.article-summary')
id加# soup.select('#globalSelectBox')
如同一级别下有多个相同标签，只需选择其一，如选择标签span为互联网的

soup.select('.article-source span')[1]

获取a标签下href属性值

soup.select_one('.article-summary .article-title a')['href']