Python 网页解析之Beautifulsoup-优快云博客

本文分享了使用Python的BeautifulSoup库进行网页解析的实际经验，对比了与Jsoup的不同，详细介绍了如何利用css选择器进行数据抓取，以及解决中文乱码问题的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以前都是用Jsoup 做网页解析，最近用Django+Python 设计实现一套信息采集系统，解析器选择了和jsoup 相近的 beautifulsoup

用下来两个解析器除了名字相近都支持 css selecter 解决问题思路完全不同，再加上java 和Python 的语言差别

需要仔细研究

先看demo

#!/usr/bin/python
# -*- coding: utf-8 -*-

from bs4 import BeautifulSoup


def parse_list(trinfo):
    # psoup = BeautifulSoup(trinfo, "xml")  # 指定文档解析器
    print trinfo.select_one('span').get_text().strip()
    print trinfo.select('span').


doc = open('C:/Users/Administrator/Desktop/table.html', 'r')
# print doc.read()
soup = BeautifulSoup(doc.read(), "xml")  # 指定文档解析器

info = soup.select('table#table1 > tr')

for m in range(len(info)):
    # print type(info[m])
    parse_list(info[m])

这样解析中文会出现乱码，发现python 编码真是个问题

要点：

1.如果不指定文档解析器（python 自带、lxml 、html5）

beautifulsoup 会报错，同时也会自动选择一个最好的解析器

2.使用css 选择器，结果是一个列表，循环遍历的是一个tag beautifulsoup 里的对象，并非是字符串

所以可以接着解析

3.文档乱码在文件读取的时候便发生了，读取文章的时候可以设置编码

# -*- coding: UTF-8 -*-
import codecs
doc = codecs.open('C:/Users/Administrator/Desktop/table.html', 'r+', 'GBK')

s = doc.readlines()
doc.close()
for line in s:
    print line

待续....

转载于:https://my.oschina.net/PagodaTree/blog/667200