Python爬虫100例(1) -- 猫眼top100

猫眼榜单top100的电影数据

编写一个简易爬虫，将猫眼榜单top100的电影数据爬取下来保存到csv文件中，代码如下:

#!/usr/bin/env python
#-*- coding:utf8 -*-
# Author:Taoke
# @Time:2019/2/23 23:28
'''
功能说明:将猫眼榜单top100的电影数据爬取下来保存到csv文件中
'''
import urllib.request
import re
import csv
# 创建maoyan_data.csv文件
with open('maoyan_data.csv', 'w', newline='') as f:
    writer = csv.writer(f)
    # 写入csv文件第一行的头
    writer.writerow(('id', '电影名称', '明星', '上映时间', '评分'))
    # 构造url
    for url in ('https://maoyan.com/board/4?offset=%d'%(i*10,) for i in range(10)):
        # 访问url获取数据
        text = urllib.request.urlopen(url).read().decode('utf-8')
        # 通过正则表达式匹配出数据
        res = re.findall('<dd>[\s\S]*?</dd>',text)
        for i in res:
            _id = re.findall('<i class="board-index board-index-\d*?">(.*?)</i>',i)[0]
            title = re.findall('title="([\s\S]*?)" c',i)[0]
            stars = re.findall('<p class="star">[\s\S]*?主演：([\s\S]*?)</p>',i)[0].strip()
            time = re.findall('<p class="releasetime">上映时间：([\s\S]*?)</p>',i)[0].strip()
            score = ''.join(re.findall('<i class="integer">(.*?)</i><i class="fraction">(.*?)</i>',i)[0])
            # 将匹配完成的数据写入maoyan_data.csv文件
            writer.writerow((_id,title,stars,time,score))
            # 打印数据
            print(_id,title,stars,time,score)

代码说明：

1. 打开一个maoyan_data.csv的文件并写入头
2. 通过 https://maoyan.com/board/4?offset=%d’%(i*10,) for i in range(10) ，构造10个链接
3. urllib.request.urlopen(url)访问链接，并通过read().decode(‘utf-8’)将数据读取出来转化为utf-8格式的字符串
4. 通过正则表达式将字符串中的数据提取出来
5. 将数据写入maoyan_data.csv文件中

总结：

爬虫的基本流程：

1. 访问链接
2. 数据提取清洗
3. 保存数据