利用正则爬取猫眼电影

使用正则表达式爬取猫眼电影数据

最新推荐文章于 2024-08-05 17:00:39 发布

原创

最新推荐文章于 2024-08-05 17:00:39 发布 · 332 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#爬取猫眼电影

本文介绍了如何利用正则表达式解析网页信息，爬取猫眼电影的相关数据。在处理过程中，为解决文件存储时的乱码问题，通过设置`encoding`和`ensure_ascii`参数得以解决。最初遇到爬取失败的情况，但最终发现通过修改请求头即可成功进行爬虫操作。

爬取猫眼电影

import json
import requests
from requests.exceptions import RequestException
import re

def get_one_page(url):#获取一个页面的信息
    try:
        kv = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36"}
        # proxies=get_random_ip(proxies)
        response=requests.get(url,headers=kv)
        response.encoding='utf-8'
        if response.status_code==200:
            return response.text
        return None
    except RequestException:
        return None

def parse_one_page(html):#解析页面信息,每个匹配元素后面必须要加结束符号

 pattern=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                       +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                        +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd&g