python BeautifulSoup 中文编码问题解决

最新推荐文章于 2023-10-06 00:51:25 发布

原创最新推荐文章于 2023-10-06 00:51:25 发布 · 1.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #开发工具

本文介绍如何在使用BeautifulSoup抓取网页时避免遇到编码错误。通过在BeautifulSoup构造器中指定正确的字符编码参数from_encoding，可以有效解决页面显示乱码的问题。

在用BeautifulSoup进行抓取页面的时候，会各种各样的编码错误。

可以通过在beautifulsoup中指定字符编码，解决问题。

import urllib2
from BeautifulSoup import BeautifulSoup

page = urllib2.urlopen('http://www.163.com');
soup = BeautifulSoup(page,from_encoding="gb18030")

print soup.originalEncoding
print soup.prettify()

红色部分表示需要注意的地方。在BeautifulSoup构造器中传入fromEncoding参数即可解决乱码问题，当然具体参数值是什么就要看你获取页面的编码是什么

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iteye_3554

关注关注

1
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Python BeautifulSoup中文乱码问题的2种解决方法

12-25

使用python的BeautifulSoup来抓取网页然后输出网页标题,但是输出的总是乱码,找了好久找到解决办法,下面分享给大家首先是代码复制代码代码如下:from bs4 import BeautifulSoupimport urllib2url = ‘//www.jb51.net/...

python BeautifulSoup设置页面编码的方法

12-23

可以通过在beautifulsoup中指定字符编码，解决问题。复制代码代码如下: import urllib2 from BeautifulSoup import BeautifulSoup page = urllib2.urlopen(‘http://www.163.com’); soup = ...

参与评论您还未登录，请先登录后发表或查看评论

使用BeautifulSoup设置页面编码的方法

pytorchCode的博客

09-22

413

在使用Python的BeautifulSoup库解析网页时，有时候我们会遇到页面编码的问题。如果我们不正确地设置页面编码，可能导致乱码或解析错误。通过这种方式，我们可以正确地处理不同编码方式的网页，并提取所需的数据。通过以上步骤，我们可以使用BeautifulSoup库正确地设置页面编码并解析网页内容。总结一下，要在Python中使用BeautifulSoup设置页面编码，首先需要使用requests库获取网页内容，然后通过设置。这样，当BeautifulSoup解析网页时，会使用正确的编码进行解析。

Python爬虫之BeautifulSoup库(七)：文档解析器、编码及解析部分文档

bqw的博客

07-18

2908

一、文档解析器 BeautifulSoup 第一个参数应该是要被解析的文档字符串或是文件句柄,第二个参数用来标识怎样解析文档.目前支持的文本类型为：html、xml、html5。而解析器可以指定lxml、html5lib、html.parser，不同的解析器解析的结果可能会不同。二、编码 1.任何HTML或XML都有自己的编码，例如ASCII或UTF-8，但是经过Beautif...

python BeautifulSoup中文乱码问题

kfyzjd2008的博客

11-21

558

工作中采集某网站，到详情页时突然发现有一个页面是乱码。但其他的都正常，百思不得骑姐。百度了一下午啊，智商捉急的很。一直以为是requests 获取页面内容时造成的乱码。查询相关资料后发现res.apparent_encoding 返回的与页面中 charset 一致。后来想可能是BeautifulSoup 解析时出现了问题。用soup.original_encoding 获取编码时

BeautifulSoup下Unicode乱码解决

weixin_30879833的博客

07-19

314

今天在用scrapy爬某个网站的数据，其中DOM解析我用的是BeautifulSoup，速度上没有XPath来得快，不过因为用了习惯了，所以一直用的bs，版本是bs4 不过在爬取过程中遇到了一些问题，其中一个是Unicode转码问题，这也算是python中一个著名问题了。我遇到的算是BeautifulSoup中的一个奇葩bug吧，在网页中经常会有 &nbsp 这种标记，称为...

使用Python BeautifulSoup爬取中文网页，编码为乱码或者不可见字符的解决方法

跬步Python股票数据量化分析

03-08

1982

使用Python BeautifulSoup爬取中文网页，编码为乱码或者不可见字符的解决方法使用python做爬虫的时候，有时候爬下来的中文内容为乱码，该如何解决呢？一个比较简单解决方法，在使用request获取的html内容后，设定编码方式为'utf-8'，然后在使用BeautifulSoup解析，如下： url = 'http://www.****acb.html' r = reque...

解决Python BeautifulSoup中文乱码问题

DevForge的博客

10-06

932

在上述示例中，我们使用chardet.detect()函数检测网页的编码方式，并将其存储在encoding变量中。然后，我们使用response.content.decode()方法将网页内容从检测到的编码方式转换为UTF-8，并将其存储在text变量中。然后，我们使用BeautifulSoup解析网页时，将’html.parser’作为解析器，并将response.text作为输入。根据具体情况，选择适合的方法来解决中文乱码问题，以确保正确解析网页中的中文内容。如果你还有其他问题，请随时提问。

关于Python beautifulsoup 输出中文乱码问题

u012783669的博客

06-18

7685

我在学习网络爬虫的过程中遇到一个很奇怪的问题，爬取同一个网站的不同页面（编码方式都为'gb2312'）时，beautifulsoup有时候输出中文是正常的有时候是乱码。查找资料：http://bbs.chinaunix.net/thread-4084647-1-1.html上面说：表面上看起来从BeautifulSoup解析后得到的soup，打印出来是乱码，但是实际上其本身已经是，正确的（从原始的...

soup获得的源码处理

m0_50027019的博客

12-23

852

** soup获得的源码处理 ** 问题描述： soup=BeautifulSoup(driver.page_source,'lxml') 这个soup还不能直接正则需要换一下 soup=BeautifulSoup(driver.page_source,'lxml') soup.encode('utf-8') with open('','w',encoding='utf-8') as f: f.write(soup.prettify()) soup的一些简单查找 soup.find(attrs={'

python模块化设计耦合度_Python学习第十八篇——低耦合函数设计思想

weixin_39527292的博客

12-06

597

1 importjson2 2 defgreet_user(filename):3 3 try:4 4with open(filename) as f_obj:5 5 username =json.load(f_obj)6 6 exceptFileNotFoundError:7 7 username = input("what i...

BeautifulSoup的编码处理( zhuan)

weixin_34329187的博客

05-07

224

BeautifulSoup的编码处理 BeautifulSoup内部使用的是Unicode，BeautifulSoup会自动检测输入文件的编码类型将其转换为Unicode。 BeautifulSoup编码检测顺序 BeautifulSoup按下面的顺序检测编码：创建Soup对象时传递的 fromEncoding 参数； XML/HTML文件自己定义的编码； ...

bs4 乱码_BeautifulSoup下Unicode乱码解决

weixin_39928003的博客

01-14

465

今天在用scrapy爬某个网站的数据，其中DOM解析我用的是BeautifulSoup，速度上没有XPath来得快，不过因为用了习惯了，所以一直用的bs，版本是bs4不过在爬取过程中遇到了一些问题，其中一个是Unicode转码问题，这也算是python中一个著名问题了。我遇到的算是BeautifulSoup中的一个奇葩bug吧，在网页中经常会有 &nbsp 这种标记，称为 non-brea...

Python爬虫：BeautifulSoup库

热门推荐

不怕猫的耗子A

08-12

2万+

Beautiful Soup的简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： 1、Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 2、Beautiful Soup自动将输...

python之爬虫 Beautifulsoup4（四）

qq_44790423的博客

08-13

394

在第一篇我们已经了解到Beautifulsoup也是作为一种在HTML页面提取信息的工具（然而这个模块比正则表达式要简单的多）在接触Beautiful soup之前我们已经初步了解了如何将我们的Web页面保存在磁盘中，现在我们呢具体学习bs4的一些高端操作一、安装及创建bs4对象同样该模块用pip installl beautifulsoup4 即可以一段代码为例：我们先导入库 #en...

Python3.x：BeautifulSoup()解决中文乱码问题

amberom的专栏

07-28

2846

问题：　　BeautifulSoup获取网页内容，中文显示乱码；解决方案：　　遇到情况也是比较奇葩，利用chardet获取网页编码，然后在BeautifulSoup构造器中传入from_encoding=参数，获取的还是一堆乱码；无奈之下，在网络上大搜索一通，结果还是没搞清楚原因，但是问题倒是找到了解决方案；在这里提供下，给遇到同样问题的码友：如果中文页面编码是gb2312，gbk，在BeautifulSoup构造器中传入from_encoding="gb18030"参数即可解决乱码

数据解析——BeautifulSoup

weixin_44302046的博客

09-08

1182

1、BeautifulSoup简称：bs42、BeautifulSoup是什么：BeautifulSoup和 lxml 一样，是一个 html 的解析器，主要功能也是解析和提取数据3、BeautifulSoup优缺点：缺点：效率没有 lxml 的效率高优点：接口设计人性化，使用方便。

Beautiful Soup 解决爬虫编码格式问题，Beautiful Soup编码格式

aini4568的博客

01-04

1059

一。为什么要用解析框架 bs4 　　我觉得爬虫最难得问题就是编码格式，因为你不知道要爬取目标网站的编码格式，有可能是Unicode，utf-8, ASCII ， gbk格式，但是使用Beautiful Soup解析后,文档都被转换成了Unicode，通过Beautiful Soup输出文档时,不管输入文档是什么编码方式,输出编码均为UTF-8编码,因为 Beautiful Soup...

Python网络爬虫-BeautifulSoup使用

徐先森的博客

07-20

1128

BeautifulSoup是一个强大的网页解析工具，它借助网页的结构和属性等特性来解析网页。有了它就不用再去写一些复杂的正则表达式来匹配我们想要的信息，只需要简单的几条语句就能完成网页中某个元素的提取。一、简介简单来说，BeautifulSoup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。官网的介绍如下： Beautiful Soup提供了一些简单的...

Python网络爬虫实践：BeautifulSoup解决乱码问题

使用 BeautifulSoup 可以自动地检测网页的编码方式，从而解决中文乱码问题。首先，我们需要安装 BeautifulSoup： ``` pip install beautifulsoup4 ``` 然后，我们可以使用 BeautifulSoup 解析网页： ``` from ...