bs4 里提取a标签里的坑啊

最新推荐文章于 2024-07-17 14:11:27 发布
原创 最新推荐文章于 2024-07-17 14:11:27 发布 · 9.4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文分享了使用BeautifulSoup(bs4)提取网页中a标签的href属性时遇到的问题及解决方案。当某些a标签缺失href属性时，采用get方法而非[]方式可以有效避免程序错误。

bs4 里提取a标签里的坑啊

今天遇到了一个很坑的事情

使用bs4（全称：BeautifulSoup）提取一个网页里所有a标签里的href属性

比较坑的地方是这个网页里有的a标签里没有href属性，所以一运行循环提取a标签的href就可劲的报错，搞得人很焦灼
我尝试用控制循环的次数和字符串的替换来跳过这个坑。

你懂的

都失败了

最后

我将提取href的方式从[‘href’]改为get(‘href’)就逃过这个坑！！！！！！

这个bug！！！好坑！！！

Python网络爬虫实战：Requests+BS4+多线程异步抓取简书热门文章，效率提升10倍
专注于Python爬虫开发，分享爬虫技巧、项目实战与反爬经验，使用Scrapy、BeautifulSoup等工具，解决数据抓取难题。
12-12 830
爬虫方式耗时（秒）效率提升单线程8.21倍（基准）多线程（5线程）1.65倍异步0.810倍本次实战用Requests+BS4实现了基础的爬虫功能，再用多线程和异步技术优化了爬取效率，最终实现了10倍的效率提升。对新手来说，重点是理解“请求-解析-保存”的核心流程，以及多线程/异步的优化思路。如果你跟着代码一步步操作，应该能顺利爬取简书热门文章数据。如果遇到问题，欢迎在评论区留言，我会尽量帮你解答。
Python爬虫：bs4解析，遇到NoneType怎么解决
weixin_50746407的博客
08-26 2277
Python爬虫，bs解析，出现NoneType错误怎么解决？
python_爬虫 06 BeautifulSoup4库
qq_30346413的博客
06-03 1273
一、BeautifulSoup4库 和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM（Document Object Model）的，会载入整个文档，解析整个DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准...
BeautifulSoup 获取a标签的href
c_lanxiaofang的博客
05-09 6752
[href]就可以获取到a标签里面的href了。
python爬虫（四）------bs4库（二）------BeautifulSoup的findall()、find(()、select()和select_one()等方法
m0_59389084的博客
08-12 2897
python爬虫（四）------bs4库（二）------BeautifulSoup的findall()、find(()、select()和select_one()等方法
BeautifulSoup 获取 a标签里的文本内容
12-21
说明 想要获取 a标签里的单词如下所示。 代码 from bs4 import BeautifulSoup f = open("word.txt", "r") # 设置文件对象 html = f.read() # 将txt文件的所有内容读入到字符串html中 soup = BeautifulSoup(html, 'lxml') # 获取a标签里的文本内容 for item in soup.find_all("a"): print(item.string) # 将单词写入five_star.txt 文件 with open('five_star.txt', 'a',
[爬虫]4.数据解析及应用 之 bs4【爬取一部小说的文本】
雾狼的游戏屋
10-21 5881
解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储，列如图片在标签中，列表数据在标签中bs4数据解析的原理;1.实例化一个BeautifulSoup对象，并且将页面源码数据加载到该对象中2.通过调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取。
【网络爬虫】python中的数据解析工具(re,bs4,xpath,pyquery)
星火飞花
10-17 1554
网络数据解析基础工具
基于Request+bs4-re技术路线实现股票数据定向爬虫
Jock2018的博客
01-24 1149
基于Request+bs4-re技术路线实现股票数据定向爬虫一、功能描述1. 目标2. 可行性分析3. 技术路线选择4. 项目的技术难点二、程序结构设计三、程序整体框架四、程序功能的实现五、程序的优化六、代码的进一步优化七、心得体会 一、功能描述 1. 目标 获取上交所和深交所所有股票的名称和交易信息，并保存到txt文件中。 2. 可行性分析 查看网页源代码，看所需要的信息是否在HTML源代码中...
看完这个系列所有爬虫都easy！（二）Xpath+bs4双剑合璧
csyifanZhang的博客
04-03 501
文章目录一、XPath1.常用规则与安装2.XPath节点3.使用实例4.实战：爬取自己博客的所有标题，阅读量 一、XPath XPath 全称 XML Path Language，即 XML 路径语言，它是一门 XML 文档中查找信息的语言。它最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索。 w3c官方教程 1.常用规则与安装 XPath常用规则 给出一个实例： //...
判断a标签是否是链接还是锚点
u013934392的博客
08-04 1114
(function() {      // 在id是main-wrap的元素中查找a或area，并且他们的href包括#(function() {      // 在id是main-wrap的元素中查找a或area，并且他们
Bs4库的一些小记录
weixin_45596008的博客
03-09 1568
BeautifulSoup4使用方法： soup=BeautifulSoup(demo,“html.parser”) soup.head (head标签) soup.head.contents (head标签的儿子节点) soup.body.contents(body标签的儿子节点) len(soup.body.contents) (获取儿子节点的数量，可用列表类型的下标获取相关元素) soup....
bs4取值技巧的详细介绍
最新发布
weixin_43822401的博客
07-17 1187
希望以上信息对您有所帮助！
爬虫-bs4的使用
芊樱烛渊的博客
05-16 1350
beautifulsoup4是Python数据包中专门用于数据解析的数据包，它能够匹配网页原码中的标签页，从而从网页中获得我们想要的数据，本章节我们来讲述bs4的一些简单的使用，以及如何使用bs4爬取网页上的小说。 一.find方法的使用 #首先我们打开一个text.html文档，打开的模式为只读模式，其编码为utf-8 fp=open('./text.html','r',encoding='utf-8') #使用我们的BeautifulSoup函数将我们的文本进行处理。 soup=Beaut
爬虫笔记15：bs4中的select()方法、修改文档树
微信公众号进阶的阿牛哥的博客
05-15 1661
一、select（）方法 我们可以通过css选择器的方式来提取数据。但是需要注意的是这里面需要我们掌握css语法。 1、常用的几个查找方式： from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormo
爬虫常用解析库bs4 xpath常见用法
Stillboring的博客
12-30 1638
BeautifSoup4 1.使用标签名定位标签 这种方法只能定位第一个该标签名对应的标签 PS：提取标签内的文本信息 使用标签对象.string或 标签对象.text 两者区别：如果string标签内还有其他的标签，使用string会提取出None，而使用text会将标签内中的全部标签的文本提取出来 ...
爬虫篇（6）爬虫解析工具：xpath、bs4、jsonPATH
tzyyy1的博客
07-25 742
一、xpath的使用 1、XML简介 XML 指可扩展标记语言（EXtensible Markup Language） XML 是一种标记语言，很类似 HTML XML 的设计宗旨是传输数据，而非显示数据 XML 和 HTML 的区别 数据格式 描述 设计目标 XML Extensible Markup Language （可扩展标记语言） 被设计为传输和存储数据，其焦点是数据...
网络爬虫-bs4解析基础
m0_37792813的博客
08-11 275
网络爬虫-bs4解析基础
bs4获取a标签里的href
06-10
from bs4 import BeautifulSoup html = """ <a href="https://www.google.com">Google</a> <a href="https://www.baidu.com">Baidu</a> <a href="https://www.bing.com">Bing</a> """ soup = ...
评论 6
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值