python爬虫框架BS4

最新推荐文章于 2025-02-06 23:10:49 发布

原创最新推荐文章于 2025-02-06 23:10:49 发布 · 355 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python #BeautifulSoup #爬虫

本文介绍了如何使用Python库BeautifulSoup来解析HTML文档。通过实例演示了如何安装BeautifulSoup，使用find_all()方法按标签和类名查找内容，以及使用select()方法进行更复杂的查询。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

bs4 全名 BeautifulSoup，是编写 python 爬虫、解析网页的常用库之一。

一、安装

pip install bs4

二、find_all()

1、初始化，创建BeautifulSoup实例

from bs4 import BeautifulSoup
html_str = """
    <body>
        <div class="asd">
            <li><div></div></li>
            <li class="a"> <a href="javascript:history.back(-1);"><span>回到上一页</span></a></li>
            <li class="b"><div id="kk">asd</div></li>
            <li class="c"><a href="https://blog.youkuaiyun.com/kylinxjd/article/details/95978485">爬取百度贴吧</a></li>
            <li class="d"><div>fgh</div></li>
        </div>
    </body>
"""
soup = BeautifulSoup(html_str, 'html.parser')
# 将html格式化输出
soup.prettify()

2、查找指定标签

obj = soup.find_all(name='li')
print(obj)
for i in obj:
    print(i)

在这里插入图片描述
Name是标签名称，可以是
1）、字符串
2）、列表，用于查找多个标签，例：

查找head标签和title标签
3）、正则表达式

3、按类名查找

obj = soup.find_all(class_='a')
print(obj)
for i in obj:
    print(i)

因为class是关键字，所以要加下划线
在这里插入图片描述

三、select()

与find_all相似，实际使用比较多

获取元素

obj1 = soup.select('.a')
obj2 = soup.select('#bn')
obj3 = soup.select('.asd a')
obj4 = soup.select('a')
print(obj1)
print(obj2)
print(obj3)
print(obj4)

在这里插入图片描述

获取属性值及内容

for i in obj4:
    print(i.attrs['href'])
    print(i.get_text())

在这里插入图片描述