【作业】2022.5.13 利用BeautifulSoup整理数据到CSV表格

该代码实现从豆瓣电影Top250页面抓取电影名称、导演、演员、类型、制片国家、语言、上映日期和评分等信息,并将数据保存到CSV文件中。主要利用requests获取网页内容,BeautifulSoup解析HTML,通过CSV模块写入文件。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

作业:利用BeautifulSoup4整理电影数据到csv表格

import requests
import csv
import os
from tqdm import tqdm
from bs4 import BeautifulSoup


def requests_get(URL):
    Headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.4951.64 Safari/537.36'
    }
    while True:
        try:
            resp = requests.get(url=URL, headers=Headers, timeout=3)
            break
        except:
            pass

    if resp.status_code == 200:
        return resp
    else:
        print(resp.status_code)


def single_link_list(soup):
    origin_list = soup.select('ol div.hd > a')
    return [x.attrs["href"] for x in origin_list]


def target_info(soup):
    # 获得电影名
    movie_name = soup.select_one('#content > h1 > span:nth-child(1)').text

    # 获得导演列表
    directors0 = soup.select('#info > span:nth-child(1) > span.attrs > a')
    directors1 = '/'.join([x.text for x in directors0])

    # 获得演员列表
    actors0 = soup.select('div#info > span.actor > span.attrs')
    actors1 = ''.join([x.text for x in actors0])

    # 获得info文本内容,为后续查找不方便定位的"类型"和无标签的"制片国家"、"语言"做准备
    info_text = soup.select_one('#info').text

    # 获得电影类型
    a = info_text.find('类型')
    if '官方网站' in info_text:
        b = info_text.find('官方网站')
    else:
        b = info_text.find('制片')
    movie_type = info_text[a + 4: b - 1]

    # 获得制片国家
    a = info_text.find('地区')
    b = info_text.find('语言')
    movie_nation = info_text[a + 4: b - 1]

    # 获得电影语言
    a = info_text.find('语言')
    b = info_text.find('上映日期')
    language = info_text[a + 4: b - 1]

    # 获得上映时间
    a = info_text.find('上映日期')
    b = info_text.find('片长')
    publish_time = info_text[a + 6: b - 1]

    # 获得电影评分
    rating_num = soup.select_one('#interest_sectl > div.rating_wrap.clearbox > div.rating_self.clearfix > strong').text

    return [movie_name, directors1, actors1, movie_type, movie_nation, language, publish_time, rating_num]


def create_file(path):
    if not os.path.exists(path):
        with open(path, 'w', encoding='utf-8', newline='') as f:
            csv.writer(f).writerow(['电影名', '导演', '主演', '类型', '制片国家/地区', '语言', '上映日期', '评分'])


if __name__ == '__main__':
    create_file('top250.csv')

    for x in tqdm(range(0, 226, 25)):
        with open('top250.csv', 'a', encoding='utf-8', newline='') as f:
            writer = csv.writer(f)

            URL = f'https://movie.douban.com/top250?start={x}&filter='
            soup0 = BeautifulSoup(requests_get(URL).text, 'lxml')
            single_page_link_list = single_link_list(soup0)

            for movie_link in tqdm(single_page_link_list):
                soup1 = BeautifulSoup(requests_get(movie_link).text, 'lxml')
                writer.writerow(target_info(soup1))
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Sprite.Nym

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值