【爬虫】正则表达式解析网页

最新推荐文章于 2024-10-15 10:30:00 发布

原创最新推荐文章于 2024-10-15 10:30:00 发布 · 569 阅读

0 ·

CC 4.0 BY-SA版权

本文介绍了一个使用Python爬取猫眼电影Top100榜单数据的实例，通过发送HTTP请求获取网页内容，并利用正则表达式解析数据，最后通过多进程提高抓取效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

用正则表达式解析网页

# 猫眼电影
import json
import re
from multiprocessing.pool import Pool
import requests
from requests.exceptions import RequestException

#请求一个页面返回响应内容
def get_one_page(url):
    try:
        response =requests.get(url)
        if response.status_code==200:
            return response.text
        return None
    except RequestException:
        return None

#解析网页
def parse_one_page(html):
    pattern=re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a'
                       +'.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>'
                       +'.*?integer">(.*?)</i>.*?fraction">(.*?)</i>.*?</dd>',re.S)    #不要出现多余的空格
    items = re.findall(pattern,html)
    print(items)
    for item in items:
        yield{
            'number':item[0],
            'picture':item[1],
            'title':item[2],
            'actors':item[3].strip()[3:],
            # 'time':item[4].strip()[5:],
            'time': get_release_time(item[4].strip()[5:]),
            'area': get_release_area(item[4].strip()[5:]),
            'score':item[5]+item[6]
        }
def main(offset):
    url='http://maoyan.com/board/4?offset='+str(offset)
    html=get_one_page(url)
    for item in parse_one_page(html):
        print(item)

if __name__=='__main__':
    pool = Pool()
    pool.map(main, [i * 10 for i in range(10)])