BeautifulSoup对象select()方法之gpt介绍

原创已于 2024-08-26 00:35:24 修改 · 1.3k 阅读

CC 4.0 BY-SA版权

文章标签：

于 2024-08-26 00:35:17 首次发布

BeautifulSoup 对象的 select() 方法是一个强大的工具，用于通过 CSS 选择器语法在 HTML 文档中查找元素。它返回一个列表，其中包含所有匹配指定选择器的元素。以下是一些常用的 select() 方法的用法及其详细说明：

1. 基础选择器

标签选择器：选择所有给定标签的元素。
```
soup.select('p')  # 选择所有 <p> 元素
```
类选择器：选择具有指定类的元素。类名前面加 .。
```
soup.select('.story')  # 选择 class="story" 的元素
```
ID 选择器：选择具有指定 ID 的元素。ID 前面加 #。
```
soup.select('#link1')  # 选择 id="link1" 的元素
```

2. 组合选择器

标签与类组合：选择指定标签且具有指定类的元素。

soup.select('a.sister')  # 选择所有 <a> 元素，且其 class 包含 "sister"

多类选择：选择同时具有多个类的元素。多个类之间没有空格。

soup.select('a.sister.haha.xixi')  # 选择 class 包含 "sister"、"haha" 和 "xixi" 的 <a> 元素

标签与ID组合：选择指定标签且具有指定 ID 的元素。
```
soup.select('p#link1')  # 选择 id="link1" 的 <p> 元素
```

3. 层级选择器

子元素选择器：使用 > 表示直接子元素。

soup.select('body > p')  # 选择 <body> 的直接子元素 <p>

后代选择器：使用空格表示后代元素（不一定是直接子元素）。
```
soup.select('body p')  # 选择 <body> 的所有后代元素 <p>
```

4. 属性选择器

属性选择：选择具有特定属性的元素。

soup.select('a[href]')  # 选择所有带有 href 属性的 <a> 元素

特定属性值选择：选择属性值等于指定值的元素。

soup.select('a[href="http://example.com/elsie"]')  # 选择 href 属性等于 "http://example.com/elsie" 的 <a> 元素

5. 伪类选择器

第一个子元素：选择第一个符合条件的元素。

soup.select('p:first-child')  # 选择所有 <p> 元素中第一个子元素

最后一个子元素：选择最后一个符合条件的元素。

soup.select('p:last-child')  # 选择所有 <p> 元素中最后一个子元素

示例代码

from bs4 import BeautifulSoup

html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister haha xixi" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
"""

soup = BeautifulSoup(html_doc, 'lxml')

# 使用 select 方法找到所有类为 'sister' 的 <a> 元素
sister_links = soup.select('a.sister')
for link in sister_links:
    print(link['href'], link.text)