使用正则做的一个爬虫小例子

豆瓣电影爬虫实战

最新推荐文章于 2025-09-11 23:47:28 发布

转载最新推荐文章于 2025-09-11 23:47:28 发布 · 63 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/python884/p/9982548.html

文章标签：

#爬虫 #python

本文介绍了一种使用Python进行网页爬取的技术，具体为爬取豆瓣电影Top250的数据，并将结果存储到本地文件中。通过urllib.request模块获取网页源码，利用正则表达式解析并抓取电影名称、评分及评论数量等信息。

from urllib.request import urlopen
import re

"""
爬虫，爬一个豆瓣网，把爬出来的存储到一个文件
"""


def get_request(url):
    """
    把网址变为源码，因为计算机只能读懂源码，然后吧源码变为utf-8的格式
    :param url:
    :return:
    """
    ret = urlopen(url)
    return ret.read().decode('utf-8')


def get_findall(s):
    """
    把源码的utf-8的正则显示出来，满足的就以列表打印出来
    :param s:
    :return:
    """
    ret = re.findall(
            '<div class="item">.*?<div class="pic">.*?<em.*?>(?P<id>\d.).*?<span class="title">.*?(?P<name>.*?)</span>'
            '.*?<span class="rating_num".*?>(?P<arg>.*?)</span>.*?<span>(?P<cou>.*?)评价</span>', s, re.S)
    return ret


def get_ur(w):
    """
    调用函数。

    :param w:
    :return:
    """
    url = 'https://movie.douban.com/top250?start=%s&filter=' % w
    ret = get_request(url)
    ret = get_findall(ret)
    return ret


con = 0
while con < 30:
    ret = get_ur(con)
    with open('电影', 'w', encoding='utf-8') as f:
        if ret:
            try:
                a = tuple(ret)
                b = list(a)
                f.write(str(b))
            except Exception:
                print('hehe1')


    f.close()

print(ret)