抓取猫眼电影排行

---

个人主页：https://joeyos.github.io

抓取猫眼电影排行【正则表达式】

先抓取猫眼网页，运用正则表达式截取字符串，获取前100个电影信息：

1. 1-10链接：https://maoyan.com/board/4
2. 11-20链接：https://maoyan.com/board/4?offset=10
3. 21-30链接：https://maoyan.com/board/4?offset=20

import requests

def get_page(url):
    headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"
    }
    response = requests.get(url,headers=headers)
    if response.status_code==200:
        return response.text
    return None

def main():
    url='https://maoyan.com/board/4'
    html=get_page(url)
    print(html)

main()

以上就取了第一页的网页源码，下面进行正则提取【通过Network查看源码】：

• 获取排名信息，在dd节点下的class为board-index的i节点：

<dd>.*?board-index.*>(.*?)</i>

• 提取图片链接，img节点下的data-src属性：

<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)"

• 提取电影名，p节点下的class为name的a节点：

<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>

• 提取主演，时间，评分等：

<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>

提取100条电影信息：

import requests
import re
import json
import time

def get_page(url):
    headers={
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36"
    }
    response = requests.get(url,headers=headers)
    if response.status_code==200:
        return response.text
    return None
def parse_page(html):
    pattern = re.compile(
    '<dd>.*?board-index.*?>(.*?)</i>.*?data-src="(.*?)".*?name.*?a.*?>(.*?)</a>.*?star.*?>(.*?)</p>.*?releasetime.*?>(.*?)</p>.*?integer.*?>(.*?)</i>.*?fraction.*?>(.*?)</i>.*?</dd>',
    re.S)
    items = re.findall(pattern,html)
    #整理信息，并组成字典
    for it in items:
        yield {
            'index':it[0],
            'image':it[1],
            'title':it[2].strip(),#删除头尾空格换行符
            'actor':it[3].strip()[3:] if len(it[3])>3 else '',
            'data':it[4].strip()[5:] if len(it[4])>5 else '',
            'score':it[5].strip() + it[6].strip()
        }
def write_file(content):
    with open('result.txt','a',encoding='utf-8') as f:
        f.write(json.dumps(content,ensure_ascii=False)+'\n')
def main(offset):
    url='https://maoyan.com/board/4?offset='+str(offset)
    html=get_page(url)
    for item in parse_page(html):
        print(item)
        write_file(item)

if __name__=='__main__':
    for i in range(10):
        main(offset=i*10)
        #time.sleep(1)

运行结尾为【只举例3条】：

{'index': '1', 'image': 'https://p1.meituan.net/movie/20803f59291c47e1e116c11963ce019e68711.jpg@160w_220h_1e_1c', 'title': '霸王别姬', 'actor': '张国荣,张丰毅,巩俐', 'data': '1993-01-01', 'score': '9.5'}
{'index': '2', 'image': 'https://p0.meituan.net/movie/283292171619cdfd5b240c8fd093f1eb255670.jpg@160w_220h_1e_1c', 'title': '肖申克的救赎', 'actor': '蒂姆·罗宾斯,摩根·弗里曼,鲍勃·冈顿', 'data': '1994-10-14(美国)', 'score': '9.5'}
{'index': '3', 'image': 'https://p0.meituan.net/movie/289f98ceaa8a0ae737d3dc01cd05ab052213631.jpg@160w_220h_1e_1c', 'title': '罗马假日', 'actor': '格利高里·派克,奥黛丽·赫本,埃迪·艾伯特', 'data': '1953-09-02(美国)', 'score': '9.1'}

---

个人主页：https://joeyos.github.io