爬虫实战篇：Requests+正则表达式爬取猫眼电影-优快云博客

一.目标站点分析：maoyan.com

二.代码

import requests
from requests.exceptions import RequestException
import re
import json
from multiprocessing import Pool
# 定义一个请求单页内容一个的方法
def get_one_page(url):
    try:
        response = requests.get(url)  # 参数形式传入url
        if response.status_code == 200:
            return response.text
        return None
    except RequestException:
        return None

# 定义一个parse_one_page方法用来解析html代码
def parse_one_page(html):
    pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                         +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                          +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)
    items = re.findall(pattern,html)
    # print(items)
    # 将提取的信息格式化,yield功能类似return,但是不同之处在于它返回的是生成器。
    for item in items:
        yield {
            'index':item[0],
            'image':item[1],
            'title':item[2],
            'actor':item[3].strip()[3:],  # strip去掉换行符，[3:]切片切除“主演：”
            'time':item[4].strip()[5:],
            'score':item[5]+item[6]
        }
# 定义一个存储文件的方法
def write_to_file(content):
    with open('result.txt','a',encoding='utf-8') as f:
        # 在此处的content是字典形式，需要json.dumps转成字符串。加一个换行符每行一个
        f.write(json.dumps(content,ensure_ascii=False)+'\n')
        f.close()
def main(offset):
    url = "https://maoyan.com/board/4?offset="+str(offset)
    # 调用get_one_page方法，把url传入,返回结果有变量html来接收
    html = get_one_page(url)
    print(html)
    for item in parse_one_page(html):
        print(item)
        write_to_file(item)
if __name__ == '__main__':
    """for i in range(10):
        main(i*10)"""
    # 使用多进程可以加快速度
    pool = Pool()
    pool.map(main,[i*10 for i in range(10)])