BeautifulSoup解析HTML(一)

最新推荐文章于 2022-02-27 20:50:14 发布

ustcqi

最新推荐文章于 2022-02-27 20:50:14 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python

本文链接：https://blog.youkuaiyun.com/demon24/article/details/8651917

Python 专栏收录该内容

28 篇文章

订阅专栏

本文介绍了一种使用Python的BeautifulSoup库从大街网抓取特定职位信息的方法。通过编码处理，成功解析了包含中文的网页内容。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用BeautifulSoup解析时要注意在有汉字的网页中编码解码问题,下面是获取大街网网页中class='jobInfo'的div标签的数据内容

from bs4 import BeautifulSoup
import urllib2

c = urllib2.urlopen('http://job.dajie.com/7262fae6-a1aa-4674-9efa-3baf697faa46.html')
soup = BeautifulSoup(c.read())

for div in soup.find_all('div'):
    if div.get('class') == ['jobInfo']:
        print 'find it'
        #print div.contents
        s = div.contents
        for x in s:
            if (x.encode('GB2312')) != '<br/>' and (x.encode('GB2312')) != '\n': #注意此处GB2312编码不是utf8
                print x.encode('GB2312')
        break