Python简单的爬取网页信息并生成json文件与乱码解决小记

ZPengX

于 2016-04-02 20:03:12 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： Python 笔记文章标签： Python

本文链接：https://blog.youkuaiyun.com/YiloPo/article/details/51045232

本文记录了使用Python进行网页数据抓取时遇到的编码问题及其解决方案，主要涉及Python字符串编码的处理，适合初学者参考。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以前写的一个Python小程序，以前是放在笔记中的，现搬到这来。

因为Android开发需要一些数据，自己写了一个小小的Python程序来抓取数据。过程可谓一波三折，主要是Python的字符串编码问题，在这记录一下。

直接上代码

# encoding utf-8
import urllib2
import json

from bs4 import BeautifulSoup

domain = 'http://www.joy.cn/news/'


def start_parser(domain_url):
    response = urllib2.urlopen(domain_url)
    html = response.read()
    soup = BeautifulSoup(html)
    video_data = {a.get_text(): domain + a.attrs.get('href') for a in soup.select('div.joy_news_div a.joy_item_a')}
    return video_data


def get_video_url(video_page_url):
    response = urllib2.urlopen(video_page_url)
    html = response.read()
    soup = BeautifulSoup(html)
    video_url = soup.select('div.video source')[0].attrs.get('src')
    return video_url


def generate_json_file(domain_url):
    url_list = []
    page_urls = start_parser(domain_url)
    for (k, v) in page_urls.items():
        # 如果字符串是这样定义：s=u'中文'
        # 则该字