Selenium学习笔记||三、BeautifulSoup

最新推荐文章于 2024-05-31 21:24:28 发布

weixin_30715523

最新推荐文章于 2024-05-31 21:24:28 发布

阅读量63

点赞数

CC 4.0 BY-SA版权

文章标签： python

原文链接：http://www.cnblogs.com/Lixinhang/p/10840752.html

本文介绍了如何使用BeautifulSoup库从HTML文件中提取数据，包括安装方法、基本使用示例及高级搜索技巧，如find_all方法的运用、按属性筛选、子节点与父节点查找等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、 Beautiful Soup是啥

　　Beautiful Soup是可以从html文件中提取数据的库。

　　官网链接：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/index.html#

　　可以从父子点的html获取回来，利用Beautiful Soup在本地分析

二、Beautiful Soup安装

　　pip install beautifulsoup4

　　pip install html5lib

三、一个简单的例子

# -*- coding: utf-8 -*-

html_doc = '''
<!DOCTYPE html>
<html>
    <head>
        <title>这是个标题</title>
        <a href = "http://baidu.com">
    </head>
    <body>
        <h1>这是一个一个简单的HTML</h1>
        <a href = "http://sina.com">
        <p>Hello World！</p>
    </body>
</html>
'''#1. 这是一段html代码，也可以从文件中读取


from bs4 import BeautifulSoup#2.引入

soup = BeautifulSoup(html_doc,"html5lib")#3.选择文件和html5lib

tag = soup.find('a')#4.寻找文件中的a标签

print(tag)#5.打印

结果：

四、find_all

1. 返回的是列表

2. 查找所有结果

# -*- coding: utf-8 -*-
html_doc = '''
<!DOCTYPE html>
<html>
    <head>
        <title>这是个标题</title>
        <a href = "http://baidu.com">
    </head>
    <body>
        <h1>这是一个一个简单的HTML</h1>
        <a href = "http://sina.com">
        <p>Hello World！</p>
    </body>
</html>
'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,"html5lib")

tag = soup.find_all('a')
print(tag)

结果：

五、find_all可以根据属性缩小范围

# -*- coding: utf-8 -*-
html_doc = '''
<!DOCTYPE html>
<html>
    <head>
        <title>这是个标题</title>
        <a href = "http://baidu.com">
    </head>
    <body>
        <h1>这是一个一个简单的HTML</h1>
        <a href = "http://sina.com" id=link1>
        <p>Hello World！</p>
    </body>
</html>
'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,"html5lib")

tag = soup.find_all('a',id = 'link1')#这里筛选了id为link1属性的内容
print(tag)

六、按子节点查找

# -*- coding: utf-8 -*-
html_doc = '''
<!DOCTYPE html>
<html>
    <head>
        <div>
        <title>这是个标题</title>
        <a href = "http://baidu.com">
        </div>
    </head>
    <body>
        <div>
        <h1>这是一个一个简单的HTML</h1>
        <a href = "http://sina.com" id=link1>
        <p>Hello World！</p>
        </div>
    </body>
</html>
'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,"html5lib")

tag = soup.div.a#这里就是按照连续的子节点进行查找
print(tag)

七、按父节点查找

# -*- coding: utf-8 -*-
html_doc = '''
<!DOCTYPE html>
<html>
    <head>
        <div>
        <title>这是个标题</title>
        <a href = "http://baidu.com">
        </div>
    </head>
    <body>
        <div>
        <h1>这是一个一个简单的HTML</h1>
        <p>Hello World！</p>
        </div>
    </body>
</html>
'''

from bs4 import BeautifulSoup

soup = BeautifulSoup(html_doc,"html5lib")

tag = soup.p.parent#这里就是查找p元素的父节点
print(tag)