爬虫遇到表情符号无法爬全标签内的内容

最新推荐文章于 2024-08-16 23:38:56 发布
最新推荐文章于 2024-08-16 23:38:56 发布
阅读量888 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/galaxy_lx/article/details/104658920
本文探讨了使用Python和BeautifulSoup构建爬虫时遇到的标签内容缺失问题，特别是在爬取<div>标签内文本时，部分信息未能正确获取。文章提供了可能的解决方案，涉及html.parser的使用调整。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

场景：用python，  BeautifulSoup构建爬虫获取网页信息。

问题：标签内容缺失。

描述：例如，爬虫在爬取<div class='c'>标签中的文本文字，当爬完<a>标签下的文字即：‘仔细体会 精彩至极 令人拍案 立即推 放弃考研’后，下面的文字信息即‘03月03日 21:21 来自柔光自拍vivo X7’会无法被获取到。

解决方案：（大概是html.parser的问题）

按如下修改：

 

python爬虫项目（七十五）：使用爬虫技术抓取社交平台政治讨论数据并分析舆论走向
sybh的博客
10-04 1937
社交平台已经成为了民众讨论政治话题的重要阵地，尤其是在重大政治事件（如选举、政策发布等）发生时，社交平台上会涌现大量讨论数据。随着社交平台成为民众表达意见的重要渠道，政治话题的讨论日益增多，这些讨论往往能够反映公众对社会和政策的态度。通过对社交平台上的政治讨论数据进行爬取和分析，可以有效识别舆论走向，发现政治议题的关注焦点以及人们的情绪态度。爬取的社交平台数据往往包含大量的噪音，如广告、无关的回复、特殊符号等，因此需要对数据进行清洗和预处理。
写爬虫时遇到一些反爬虫--汇总
qq_42771415的博客
03-16 379
写爬虫时遇到一些反爬虫--汇总1.最最常见的就是封ip了2.请求头3.登录4.数据加密5.字体反爬6.js加密7.滑块验证码8.selenium9.HOOK 1.最最常见的就是封ip了 有条件呢，当然是买代理好，质量高，数量多；没有条件的，像我就是自己搭一个代理池，抓一些免费的高匿代理用用，因为我遇到的项目数据量要求不太大，足够使用了。给大家推荐一个代理池代理池，安装及其简便，很舒服 2.请求头 ...
Python-Emojinator识别手势自动输入表情符号
08-11
Emojinator - 识别手势自动输入表情符号
当爬虫遇到emoji表情
Damionew的博客
12-18 2895
场景：爬虫爬取豆瓣电影影评时遇到一些用户的用户名和影评中有emoji表情符号，存储到数据库的时候出现报错： Incorrect string value: '\xF0\x9F\x98...' for column 'name' Mysql此时的字符集是utf-8 那么问题来了，utf-8的一个字符最大3个字节，而emoji却是4个字节，这就导致存入失败 可以通过以下命令查看 SHOW...
爬虫爬取表情
replat-xin
10-26 590
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/10/26 15:27 # @Author : jia.zhao # @Desc : # @File : doutu_request.py # @Software: PyCharm from selenium import webdriver impo...
表情包--爬虫
sunny_everday的博客
04-23 760
#!/user/bin/python # -*- coding:utf-8 -*- # __author__:yanglong # __data__:2019.4.23 import requests from lxml import etree class phto(): def __init__(self): self.url="https://www.soogif...
【python爬虫】emoji表情+中英文释义
小白水手的博客
05-27 2815
情感本文分类的时候的，简单的将文本中的emoji表情换为了文字，勉强提升了一下准确率。 提取特征是王道，而我只是凑巧 英文释意：http://www.oicqzone.com/tool/emoji/ 中文释义：http://www.megaemoji.com/cn/emoji/ ...
网络爬虫与数据挖掘_Python_新浪微博手机版关键词爬取_表情内容提取与保存_通过模拟登录和验证码识别技术自动抓取新浪微博手机版中特定关键词相关的带有表情符号的微博内容并保存为T.zip
最新发布
04-30
本案例主要探讨了如何利用Python语言开发网络爬虫，实现自动抓取新浪微博手机版中特定关键词相关的微博内容，并对带有表情符号的微博进行内容提取与保存。 在实现这一功能的过程中，开发者通常需要面对两个主要的...
Python3网络爬虫开发实战（11）JavaScript 逆向爬虫
bigcrab的博客
08-16 1447
JavaScript Hook，无限 debugger，模拟执行 JavaScript
爬虫中的那些编码问题
STARSG0d的博客
11-07 523
前言 近日一直在爬虫学习的路上摸打滚爬，问题接踵而来，就在今天遇见了编码的问题，苦不堪言，苦苦需求“真相”，有所心得，分享一下，寻求同辈之人，聊以自慰。 问题 爬虫的学习终于到了进程这一关，我按照书上的代码进行测试，不料给出的网站还在“月球“呆着，于是随手点了另外一个网站进行测试。通过源码审计，发现需要的内容在标签的属性中，于是决定使用xpath来攻克它。内心激动而面无表情的按下快捷键，看着打印出...
python爬虫 使用request爬起表情包
qq_38925100的博客
04-01 356
#使用requests进行获取页面内容 ，urllib模块来下载，BeautifulSoup来取html里面的值 # import time # import requests # from bs4 import BeautifulSoup # import urllib.request # url = "http://www.yansudian.com/" # i = requests.get(...
python 删除爬虫里无法识别的表情字符
沉默的鹏先生
08-13 1832
在爬网易云评论的时候发现评论里有很多人发表情，然而python爬取表情后发现无法把表情写入文件里。从而导致异常。后来找到了两种方法判断。 第一种：通过re.sub()删除评论里无法识别的字符串，re.sub有个弊端就是只有第一个表情图片错误的时候能处理，第二个就无法处理了 def character(a): dk = open(r'.\评论.txt', 'w') try: ...
Python爬虫之Emoj表情无法插入数据库Mysql
Zyuchen
02-14 1012
#1.修改配置文件my.ini[client] port=3306 default-character-set=utf8mb4 [mysql] port=3306 default-character-set=utf8mb4 [mysqld] port=3306 character-set-client-handshake= FALSE character-set-server= ...
python--只爬取网页中的文字或特定标签
Swallow_shangtou的博客
12-18 9077
from bs4 import BeautifulSoup html_sample=''' &lt;div class="zg_head_box"&gt; \ &lt;div class="zg_head_bann clearfix"&gt; &lt;div class="zg_head_bann_left"&gt; &lt;ul class="zg_top_nav cl
python爬虫字符问题_爬虫里面的字符串编码的坑
weixin_33447647的博客
02-21 870
初学Python写爬虫程序，上手很快，但字符串的编码问题却一直困扰着我，我相信每一个学习爬虫的人都有过和我一样的困惑。一旦走上了编程之路，如果你不把编码问题搞清楚，那么它就像幽灵一般纠缠你整个职业生涯，所以，今天就谈谈Python的字符串编码。0.前言大家都知道，我们的计算机只能处理数字，而计算机是美国人发明的。他们只有26个字母，所有一个子集，255个字符肯定够用了，也就是用Ascii编码。但中...
Python 爬虫 URL中存在中文或特殊符号无法请求的解决方法
hanchaobiao的博客
06-05 6470
Python解决URL路径中存在中文无法访问的问题
让爬虫拿到与\(^o^)/~
01-19
### 特殊字符处理 为了确保爬虫能够正确抓取包含特殊字符的内容，如 \(^o^)/~ ，需要考虑编码和解码过程中的细节。当遇到这些特殊字符时，通常会涉及到 URL 编码[^1]。 URL 中不允许存在某些字符，因此在构建请求时应使用 `urllib.parse.quote` 或者 `requests.utils.requote_uri` 函数来转义这些非法字符。这一步骤能保证即使原文本中有括号、斜杠或其他非 ASCII 字符也能被服务器正确解析[^4]。 另外，在 HTML 文档内部提取文本节点时，如果发现含有表情符号或者其他复杂 Unicode 字符，则应该采用合适的字符集进行读取并保存。Python 的内置库 `chardet` 可以帮助自动检测网页编码方式；而 BeautifulSoup 库提供了方便的方法用于清理HTML标签内的杂乱内容，并保留纯文本部分[^3]。 最后值得注意的是，一些网站可能会对 POST 请求体里的参数做额外的安全过滤措施，此时可能还需要模拟浏览器行为发送更复杂的 HTTP 头信息，甚至借助 Selenium 这样的工具加载 JavaScript 渲染后的页面才能获得最终想要的结果[^2]。 ```python import requests from bs4 import BeautifulSoup import chardet from urllib.parse import quote # 对特殊字符进行URL编码 special_char = "(^o^)/~" encoded_special_char = quote(special_char) url = f"http://example.com/search?q={encoded_special_char}" response = requests.get(url) detected_encoding = chardet.detect(response.content)['encoding'] soup = BeautifulSoup(response.text, 'html.parser', from_encoding=detected_encoding) text_with_special_chars = soup.get_text() print(text_with_special_chars) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值