Python爬取猫眼电影Top100

最新推荐文章于 2024-11-21 23:18:22 发布

埃菲尔没有塔尖

最新推荐文章于 2024-11-21 23:18:22 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：【Python爬虫】

本文链接：https://blog.youkuaiyun.com/weixin_38819889/article/details/90484390

import requests
import re
import time
import json
from requests import RequestException

def get_one_page(url):
    try:
        headers={'User - Agent': 'Mozilla / 5.0(WindowsNT10.0;WOW64) AppleWebKit / 537.36(KHTML, likeGecko) Chrome / 72.0.3626.121Safari / 537.36'}
        response=requests.get(url,headers=headers)
        if response.status_code==200: #状态码200 ，表示请求成功
            return response.text  #返回的是相应后的 html代码
        return  None
    except RequestException:
        return None

def parse_one_page(html):#   解析网页的代码，分析出想要得到的关键词
    #解析的规则
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                        + '.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                        + '.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>', re.S)
    items=re.findall(pattern,html)
    # print(items)  是列表形式，太乱了
    for item in items:
        yiel