python的beautifulsoup库(结合文档,个人小总结)

Python使用urllib库和BeautifulSoup库爬虫总结 最近简单学习了一点爬虫,为此做一个小的总结,还望批评指正Python爬虫总结检查是否安装成功 python python urllib from urllib.request import urlopen BeautifulSoup4 from bs4 import BeautifulSoup 存储数据到MySQL 通过pip安装pymysql pip install pymysql 通过 阅读详情

基本操作区:
soup.prettify()将解码后的网页内容对象soup,转换成标准的H5格式
soup.标签名 获得第一个这个标签的内容(列如:soup.title输出The Dormouse’s story)即这个标签包含的包括标 签的内容
同样soup.标签1.标签2。。。可以循环,就是取第一个标签1的第一个标签2.。。
soup.标签名.name获得这个标签的名字(例如:soup.p.name,结果是p)
soup.标签名.string获得第一个这个标签的内容(不包括标签,比如soup.p.string结果是The Dormouse’s story)
soup.标签名[]获得的是第一个这个标签中,[]内对应的值,比如

The Dormouse’s story

然后print (soup.p[‘class’])结果就是’title’(类似于提取字典)
soup.find(条件)找到满足find内部条件的第一条完整语句(包含标签和内容)比如print(soup.find(id=1100))对应的就是p class=“title” id=1100> The Dormouse’s story#貌似只能找id
soup.find_all(条件)#条件可以是标签名字,或者id=??等等,并且找出所有的满足项,形成一个列表。#貌似不能找class
嵌套查询,利用find_all获得的列表中的每一项,可以获得他们对应的各个参数对应信息。比如:
for link in soup.find_all(‘a’):
print(link.get(‘href’))
# http://example.com/elsie
# http://example.com/lacie
# http://example.com/tillie
(与soup.标签名[]区别在于,这个利用列表中的每一项,每一项不是soup对象,而soup.标签名[]是利用soup对象中的某个 标签来查询)
soup.get_text()获得soup对象获得的经过解析后的网页的所有内容(去除掉标签,这是和soup.prettify()的区别)
基本概念区:
soup=bf(html_doc,‘html.parser’)中soup是BeautifulSoup对象
soup.标签获得的是tag对象
soup.标签(或者什么的).string获得的是NavigableString对象,且这个对象不能被直接修改,除非利用tag.string.replace_with (字符串)才能替换修改:
tag.string.replace_with(“No longer bold”)
print(tag)
#
No longer bold

进阶区:
1、tag对象进阶:
tag.contents可以将该tag对象的所有子tag以列表形式展现,比如:
head_tag = soup.head
head_tag
# The Dormouse’s story
			head_tag.contents
			[<title>The Dormouse's story</title>]
	tag.children是一个生成器,可以就用for i in形式。将tag中的子tag作为生成器的成员:
			for i in soup.body.children:
				print(i)
			<p class="title">Once upon a time there were three little sisters; and their names were
			<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
			<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a> and
			<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>;
	tag.descendants也是一个生成器,只是前两个每个成员都是直接子tag,而这个是每个子tag是一个成员外,每个孙tag也是		一个单成员,并且,标签里的内容也是一个单成员。
	
2、NavigableString对象进阶:
	soup.string生成的对象可能会产生空格,而soup.stripped_strings 会自动去除空格和空行	
Python:BeautifulSoup库介绍 1、BeautifulSoup是Python中的一个第三方库,其最主要的功能是处理HTML文档⑴查找HTML文档中的指定标签⑵获取HTML文档中指定标签的标签名、标签值、标签属性等⑶修改HTML文档中指定标签2、BeautifulSoup库将HTML文档解析为一个对象,使用该对象方法能很方便的获取HTML文档中的数据3、BeautifulSoup库也可以用来处理XML文档。 阅读详情

相关推荐

Python:Beautifulsoup4库的使用

使用requests库获取HTML页面并将其转换成字符串后,需要进一步解析HTML页面格式,提取有用信息,这需要处理HTML和XML的函数库。beautifulsoup4库,也称为Beautiful Soup库或bs4库,用于解析和处理HTML和XML。需要注意的是,它不是BeautifulSoup库。它的最大优点是能根据HTML和XML语法建立解析树,进而高效解析其中的内容。

衍生星球的博客 5621

BeautifulSoup文档1-简介、安装和使用

是一个可以从HTML或XML文件中提取数据的Python库;目前已经停止开发,推荐使用;

虫无涯的博客 1198

【无标题】ReaxFF拟合参数以及算法安装

ReaxFF拟合参数以及算法安装

zmzyzm的博客 1418

python的BeautifulSoup库怎么用(详细教程)

以上就是一个比较详细的 BeautifulSoup 教程,包括安装、基本用法和一些高级应用。BeautifulSoup 可以帮助我们方便地解析 HTML 和 XML 文档,并从中提取所需的信息,是 Python 网络爬虫开发中常用的工具之一。

qq_40860747的博客 1万+

(35)远程识别(又称无人机识别)(一)

Ardupilot官网关于《Peripheral Hardware》的翻译 —《(35) 远程识别(又称无人机识别)》。

无人机开发(开源Ardupilot) 4万+

使用ADS进行LNA低噪放设计的详细教程

详细介绍了通过ADS软件进行LNA设计的过程,从晶体管的选型到稳定性系数分析、再到输入输出端匹配,完整的讲解了低噪放的设计流程,可以使新手小白以及学习射频放大器的朋友可以快速的了解掌握ADS的使用方法和LNA的设计方法。

weixin_41831333的博客 3448

使用Python爬虫库BeautifulSoup遍历文档树并对标签进行操作详解

今天为大家介绍下Python爬虫库BeautifulSoup遍历文档树并对标签进行操作的详细方法与函数 下面就是使用Python爬虫库BeautifulSoup对文档树进行遍历并对标签进行操作的实例,都是最基础的内容 html_doc = """ <html><head><title>The Dormouse's story</title></...

python爬虫开发教程 952

TNS-12516及ORA-12516错误解决

在客户端进行sqlplus连接报错如下: ORA-12516: TNS: 监听程序找不到符合协议堆栈要求的可用处理程序 在/home/oracle/product/10.2.0/db_1/network/log/listener.log中查看到错误如下: TNS-12516: TNS:listener could not find available handler with matchin

KEL 2万+

Beautiful soup的使用方法

如何使用 将一段文档传入BeautifulSoup 的构造方法,就能得到一个文档的对象, 可以传入一段字符串或一个文件句柄. from bs4 import BeautifulSoup soup = BeautifulSoup(open("index.html")) soup = BeautifulSoup("<html>data</html>") 首...

fangweijiex的博客 391

基于Python的军事装备信息爬虫实战:Scrapy+Playwright+智能反反爬技术

本文将详细介绍如何使用Python构建一个高效的军事装备信息爬虫系统。我们将从基础的HTTP请求开始,逐步深入到使用Scrapy框架、Playwright浏览器自动化以及最新的反反爬技术。文章包含完整的代码实现、性能优化策略以及数据处理方案,旨在为读者提供一个全面的军事信息爬取解决方案。关键词:Python爬虫、军事装备、Scrapy、Playwright、反反爬。

2201_76125261的博客 1155

SRS流媒体服务器在Windows下的安装

在之前的流媒体开发中(视频会议),我基本上使用nginx加模块的方式进行学习、测试,正式开发的时候改为服务器端用EasyDarwin,客户端用rtsp-simple-server(这些流媒体服务器的用法见我以前的博文),这样可以充分利用客户端的资源,降低服务器端的压力。在流媒体协议方案,我选择相对较快的rtsp。这个协议优点是支持UDP协议,优化好的环境下可以实现3秒以下的延迟,基本满足甲方要求,缺点就是不支持网页播放。

dgnankai的专栏 2023

Python中BeautifulSoup库的用法

BeautifulSoup简介 Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下: Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换...

阎松的博客 24万+

Python爬虫实战:使用最新技术爬取新浪新闻首页数据

本文详细介绍了三种爬取新浪新闻首页的技术方案,从简单的requests-html到强大的Playwright,再到分布式Scrapy架构。小规模爬取:requests-html或aiohttp方案需要JavaScript渲染:Playwright方案大规模分布式爬取:Scrapy-Redis方案。

2201_76125261的博客 1243

python爬虫的BeautifulSoup库详解

文章目录1.解析库2.基本使用3.标签选择器3.1选择元素3.2获取名称3.3获取属性3.4获取内容3.5嵌套选择3.6子节点和子孙节点3.7父节点和祖先节点3.8兄弟节点4标准选择器4.1find_all( name , attrs , recursive , text , **kwargs )4.1.1name4.1.2attrs4.1.3text4.2find( name , attrs ,...

一行玩python 3万+

GPFS扩展技术原理(十一)-FMDN广播与EID加解密

GFPS扩展技术原理(十一)FMDN广播及EID加解密

十多年蓝牙协议软件开发,擅长蓝牙协议分析 935

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

BeautifulSoup库详解(个人整理)

1.解析库 灵活又方便的网页解析库,处理高效,支持多种解析器。 利用它不用编写正则表达式即可方便地实现网页信息的提取。 安装:pip3 install BeautifulSoup4 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup(markup, “html.parser”) Python的内置标准库、执行速度适中 、文档容错能力强 Python 2.7...

weixin_47476051的博客 8484

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

Python爬虫:BeautifulSoup库

Beautiful Soup的简介 Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下: 1、Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。 2、Beautiful Soup自动将输...

不怕猫的耗子A 2万+

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Python之BeautifulSoup库详解

BeautifulSoup是一个灵活方便的网页解析库,处理高效,能够自动的将输入文档转换为Unicode编码,输出文档转换为utf-8编码,且支持多种解析器。其最主要的功能是从网页抓取数据。

qq_33807380的博客 5098

python之BeautifulSoup库

python的BeautifulSoup解析库

qq_44690947的博客 4662

BeautifulSoup 库的使用——python爬虫

本文主要介绍了python爬虫中的BeautifulSoup库的安装和使用,包括它如何解析html代码,如何查找元素等

qq_56109699的博客 2391

Python爬虫 —— 使用BeautifulSoup4解析HTML文档

我们来聊聊BS4是个啥,它能干啥,BS4是一个从HTML和XML文件中提取数据的python库,它可以将复杂HTML文件转换为一个复杂的树形结构,这棵树的每一个结点都是Python对象,所有对象都可以归纳为4类,这四个对象能干啥呢?点进来看看吧

小菜鸡的小博客 1万+

Python 学习——Python BeautifulSoup 库文档

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间.这篇文档介绍了BeautifulSoup4中所有主要特性,并且有小例子.让我来向你展示它适合做什么,如何工作,怎样使用,如何达到你想要的效果,和处理异常情况.文档中出现的例子在Python2.7和Python3.2中的执行结果相同。

愿青春不负梦想 1415

python beautifulsoup库的用法

1. Beautiful Soup 简介 简单来说,Beautiful Soup是python的一个库,最主要的功能是从网页抓取数据。官方解释如下: Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱,通过解析文档为用户提供需要抓取的数据,因为简单,所以不需要多少代码就可以写出一个完整的应用程序。Beautiful Soup自动将输入文档转换为Unicode编码,输出文档转换为utf-8编码。你不需要考虑编码方式,除非文档没有指定一个编码

sc_Pease的博客 3007

Python爬虫小白入门(二)BeautifulSoup库

上一篇演示了如何使用requests模块向网站发送http请求,获取到网页的HTML数据。这篇来演示如何使用BeautifulSoup模块来从HTML文本中提取我们想要的数据。

m0_62283350的博客 4833
上一篇: Python内置函数及应用(个人总结)t
下一篇: 共享单车案例
Gklearlove
博客等级 码龄9年 8粉丝 32原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值