bs4的基本使用_bs4de yongfa-优快云博客

本文链接：https://blog.youkuaiyun.com/xiaobaipython/article/details/135694187

本地文件名为bs4的基本使用.html

<!DOCTYPE html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Title</title>
</head>
<body>
    <div>
        <ul>
            <li id="l1">张三</li>
            <li id="l2">李四</li>
            <li>王五</li>
            <a href="" id="" class="a1">小白</a>
            <span>哈哈哈</span>
        </ul>
    </div>
    <a href="" title="a2">百度</a>
    <div id="d1">
        <span>嘿嘿</span>
    </div>
    <p id="p1" class="p1">hehe</p>
</body>
</html>

bs4的使用

from bs4 import BeautifulSoup
# 默认打开的编码格式为gbk,所以打开文件要指定编码
soup=BeautifulSoup(open('bs4的基本使用.html',encoding='utf-8'),'lxml')
# 根据标签名查找节点
# 找到的是第一个符合条件的数据
# print(soup.a)
# 结果<a class="a1" href="" id="">小白</a>
# 获取标签的属性和属性值
# print(soup.a.attrs)
# 结果{'href': '', 'id': '', 'class': ['a1']}

# bs4的一些函数
# （1）find
# 返回的是第一个符合条件的数据
# print(soup.find('a'))
# 结果<a class="a1" href="" id="">小白</a>
# 根据tltie的值来找到对应的标签对象
# print(soup.find('a',title="a2"))
# 结果<a href="" title="a2">百度</a>
# 根据class的值找到对应的对象，class要加下划线
# print(soup.find('a',class_="a1"))
# 结果<a class="a1" href="" id="">小白</a>
# （2）find_all 返回的是一个列表，且返回所有的a标签
# print(soup.find_all('a'))
# 结果[<a class="a1" href="" id="">小白</a>, <a href="" title="a2">百度</a>]
# 如果想要获得多个标签的数据，需要在find_all的参数中加的列表数据
# print(soup.find_all(['a','span']))
# 结果[<a class="a1" href="" id="">小白</a>, <span>哈哈哈</span>, <a href="" title="a2">百度</a>, <span>嘿嘿</span>]
# limit的作用：查找几个数据
# print(soup.find_all('a',limit=2))
# 结果[<a class="a1" href="" id="">小白</a>, <a href="" title="a2">百度</a>]
# （3）select（推荐）
# select返回的是一个列表，且返回多个数据
# print(soup.select('a'))
# 结果[<a class="a1" href="" id="">小白</a>, <a href="" title="a2">百度</a>]
# 可以通过.代表class——》类选择器
# print(soup.select('.a1'))
# 结果[<a class="a1" href="" id="">小白</a>]
# print(soup.select('#l1'))
# 结果[<li id="l1">张三</li>]
# 属性选择器——》通过属性来找到对应标签
# 查找到li标签中有id的标签
# print(soup.select('li[id]'))
# 结果[<li id="l1">张三</li>, <li id="l2">李四</li>]
# 查找到li标签中id为l2的标签
# print(soup.select('li[id="l2"]'))
# 结果[<li id="l2">李四</li>]
# 层级选择器
# 后代选择器
# 找到div下的li
# print(soup.select('div li'))
# 结果[<li id="l1">张三</li>, <li id="l2">李四</li>, <li>王五</li>]
# 子代选择器
# 某标签的第一级子标签
# 很多编程语言中，如果不回空格，不会输出内容，但bs4不会
# print(soup.select('div>ul>li'))
# 结果[<li id="l1">张三</li>, <li id="l2">李四</li>, <li>王五</li>]
# 找到a标签和li标签的所有对象
# print(soup.select('a,li'))
# 结果[<li id="l1">张三</li>, <li id="l2">李四</li>, <li>王五</li>, <a class="a1" href="" id="">小白</a>, <a href="" title="a2">百度</a>]
# 节点信息
# 获取节点内容
# obj=soup.select('#d1')[0]
# 如果标签对象中只有内容，string和get_text()都可以
# 如果标签对象中除了内容还有标签，只有get_text()可以
# 推荐用get_text
# print(obj.string)
# 结果None
# print(obj.get_text())
# 结果：嘿嘿
# 节点属性
obj=soup.select('#p1')[0]
# name是标签名
# print(obj.name)
# 结果p
# 将属性值左右一个字典中
# print(obj.attrs)
# 结果{'id': 'p1', 'class': ['p1']}
# 获取节点属性
print(obj.attrs.get('class'))
print(obj.get('class'))
print(obj['class'])
# 结果['p1']