用python写爬虫----爬取电视剧基本信息

最新推荐文章于 2025-10-30 13:40:16 发布

原创

最新推荐文章于 2025-10-30 13:40:16 发布 · 4.8k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #豆瓣

本文记录了一位初学者使用Python进行爬虫实践的过程，目标是爬取豆瓣网站上的电视剧基本信息，通过这个练习熟悉爬虫的基本步骤和技术。

刚刚入门学习爬虫，试着爬取豆瓣的电视剧信息练手。废话不多说，进入正题。

工具：python、互联网、谷歌浏览器

import json
import requests


class TvSpider:
    '''豆瓣电视爬虫'''

    def __init__(self, country):
        '''
        爬虫类的初始化
        :param country: 要爬去的国家，命名需与豆瓣的相契合
        '''
        # 要爬取的电视的国家全称
        self.country = country
        # 要爬去电视列表的第一页 在豆瓣电视剧的列表也找到items开头的请求，
        self.url = 'https://m.douban.com/rexxar/api/v2/subject_collection/filter_tv_{}_hot/items?start=0&count=18'.format(
            country)
        self.headers = {
            "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1",
            # 关联的url，必须加，否则豆瓣的反扒措施会让你一无所获
            "Referer": "https://m.douban.com/tv/"}

    def write_data(self, file_dict, filename):
        '''定义文件写入函数 传入一个字典 和文件名'''
        with open(filename, 'w', encoding='utf-8') as f:
            f.write(