python练习简单爬取豆瓣网top250电影信息

最新推荐文章于 2023-11-07 14:00:48 发布

原创

最新推荐文章于 2023-11-07 14:00:48 发布 · 833 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

本文介绍了一位Python新手如何爬取豆瓣Top250电影的排行榜、电影链接和名称，并利用这些信息进一步爬取电影详情，最后将数据存储到MongoDB数据库中。由于部分电影详情页缺失又名信息，故未包含在爬取范围内。

一个刚开始学习python的小菜菜，欢迎大家给予指正。

因为有的电影详情里没有影片的又名，所以没有爬取电影的又名。

基本思路：爬取top250列表页展示中电影的排行榜排名，电影详情链接，电影名称。然后通过电影链接进入到详情页，获取详情页的源码，再进行爬取，爬取后的数据保存在字典中，通过字典保存在mongo数据库中的。

from urllib.request import Request, urlopen

import re, pymongo

class DBmovieSpider(object):
    """
    豆瓣爬虫类
    """
    # 连接数据库
    client = pymongo.MongoClient('localhost')
    db = client['dbmovie']
    def __init__(self):
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
            'Cookie':'()'  # ()中填写自己登陆后的Cookie就好
        }

    def get_list_html(self, page):
        """
        获取列表页源代码
        :return: 返回网页源代码
        """
        list_url = 'https://movie.douban.com/top250?start={}&filter='.format(25*page-25)
        request = Request(list_url, headers=self.headers)
        try:
            response = urlopen(request)