Python多进程爬取电影信息

python 用pyinstaller打包多进程multiprocessing、tkinter scrapy爬取豆瓣TOP250部电影信息 参考文章: https://blog.youkuaiyun.com/La_vie_est_belle/article/details/79017358 https://blog.youkuaiyun.com/weixin_42052836/article/details/82315118 https://blog.youkuaiyun.com/zm147451753/article/details/85850526 常规py... 阅读详情

观察翻页时详情页面url地址变化规律
在这里插入图片描述

import json
from os import makedirs
from os.path import exists
import requests
import logging
import re
from urllib.parse import urljoin
import multiprocessing

# 定义了下日志输出级别和输出格式
logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s - %(levelname)s: %(message)s')

BASE_URL = 'https://ssr1.scrape.center'
TOTAL_PAGE = 10

RESULTS_DIR = 'results'
exists(RESULTS_DIR) or makedirs(RESULTS_DIR)

# 爬取列表页
def scrape_page(url):
    """
    scrape page by url and return its html
    :param url: page url
    :return: html of page
    """
    logging.info('scraping %s...', url)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        logging.error('get invalid status code %s while scraping %s',
                      response.status_code, url)
    except requests.RequestException:
        logging.error('error occurred while scraping %s', url, exc_info=True)

# 爬取详情列表页
def scrape_index(page):
    """
    scrape index page and return its html
    :param page: page of index page
    :return: html of index page
    """
    index_url = f'{BASE_URL}/page/{page}'
    return scrape_page(index_url)

# 解析详情列表页
def parse_index(html):
    """
    parse index page and return detail url
    :param html: html of index page
    """
    pattern = re.compile('<a.*?href="(.*?)".*?class="name">')
    items = re.findall(pattern, html)
    if not items:
        return []
    for item in items:
        detail_url = urljoin(BASE_URL, item)
        logging.info('get detail url %s', detail_url)
        yield detail_url

# 爬取详情页
def scrape_detail(url):
    """
    scrape detail page and return its html
    :param page: page of detail page
    :return: html of detail page
    """
    return scrape_page(url)

# 解析详情页正则匹配方法
def parse_detail(html):
    """
    parse detail page
    :param html: html of detail page
    :return: data
    """

    cover_pattern = re.compile(
        'class="item.*?<img.*?src="(.*?)".*?class="cover">', re.S)
    name_pattern = re.compile('<h2.*?>(.*?)</h2>')
    categories_pattern = re.compile(
        '<button.*?category.*?<span>(.*?)</span>.*?</button>', re.S)
    published_at_pattern = re.compile('(\d{4}-\d{2}-\d{2})\s?上映')
    drama_pattern = re.compile('<div.*?drama.*?>.*?<p.*?>(.*?)</p>', re.S)
    score_pattern = re.compile('<p.*?score.*?>(.*?)</p>', re.S)
    
    # 结果只有一个,用 search 方法提取即可
    # 结果有多个,使用 findall 方法提取,结果是一个列表
    cover = re.search(cover_pattern, html).group(
        1).strip() if re.search(cover_pattern, html) else None
    name = re.search(name_pattern, html).group(
        1).strip() if re.search(name_pattern, html) else None
    categories = re.findall(categories_pattern, html) if re.findall(
        categories_pattern, html) else []
    published_at = re.search(published_at_pattern, html).group(
        1) if re.search(published_at_pattern, html) else None
    drama = re.search(drama_pattern, html).group(
        1).strip() if re.search(drama_pattern, html) else None
    score = float(re.search(score_pattern, html).group(1).strip()
                  ) if re.search(score_pattern, html) else None

    return {
        'cover': cover,
        'name': name,
        'categories': categories,
        'published_at': published_at,
        'drama': drama,
        'score': score
    }


# 解析详情页pq方法
from pyquery import PyQuery as pq
def parse_detail(html):
    """
    parse detail page
    :param html: html of detail page
    :return: data
    """
    doc = pq(html)
    cover = doc('img.cover').attr('src')
    name = doc('a > h2').text()
    categories = [item.text() for item in doc('.categories button span').items()]
    published_at = doc('.info:contains(上映)').text()
    published_at = re.search('(\d{4}-\d{2}-\d{2})', published_at).group(1) \
        if published_at and re.search('\d{4}-\d{2}-\d{2}', published_at) else None
    drama = doc('.drama p').text()
    score = doc('p.score').text()
    score = float(score) if score else None
    return {
        'cover': cover,
        'name': name,
        'categories': categories,
        'published_at': published_at,
        'drama': drama,
        'score': score
    }


# 保存数据
def save_data(data):
    """
    save to json file
    :param data:
    :return:
    """
    name = data.get('name')
    data_path = f'{RESULTS_DIR}/{name}.json'
    json.dump(data, open(data_path, 'w', encoding='utf-8'),
              ensure_ascii=False, indent=2)

# main 方法
def main(page):
    """
    main process
    :return:
    """
    index_html = scrape_index(page)
    detail_urls = parse_index(index_html)
    for detail_url in detail_urls:
        detail_html = scrape_detail(detail_url)
        data = parse_detail(detail_html)
        logging.info('get detail data %s', data)
        logging.info('saving data to json file')
        save_data(data)
        logging.info('data saved successfully')

# 多进程加速
if __name__ == '__main__':
    pool = multiprocessing.Pool()
    pages = range(1, TOTAL_PAGE + 1)
    pool.map(main, pages)
    pool.close()



基础爬虫的案例 基础爬虫案例 阅读详情

相关推荐

正则表达式爬取猫眼top100

title : spider with python date : 2019.1.2 tool : RE &amp; Python 文章目录首先第一步先亮出自己的软件环境前言:先看看正则表达式的使用方法正文:开始干正事第一步:分析源站的网页结果和网站结构第二步:分析网页中我们感兴趣的点是怎样分布的第三步:将整个所有信息一起爬第四步:为了使爬虫效果好,实现秒爬   很早就对爬虫比较感兴趣,当...

Mica_Dai的博客 639

爬虫笔记15——爬取网页数据并使用redis数据库set类型去重存入,以爬取芒果踢V为例

爬取网页数据存入Redis数据库,芒果踢V为例

Yima_Dangxian的博客 1325

Python爬虫(三):爬取猫眼电影网经典电影TOP100信息并存入本地Markdown文件(上)

运行环境:Python3.6.2、Pycharm2017.2 附此爬虫代码GitHub地址:https://github.com/IMWoolei/MaoYanMovies ==>【效果链接】 正文分析需要获取的信息进入到猫眼网经典电影TOP100页面【链接】 需要抓取的数据有名次,海报,影片名、主演、上映时间以及评分。网页信息分析 从中可以看到,每一步影片的信息都分别存在于<

吴芒果的博客 5426

跟着崔庆才学爬虫2:基础爬虫案例实战

我们之前已经学习爬虫基本库,也对库的使用进行了基本的学习,现在就让我们用一篇实战来加深一下爬虫的具体用法。

catca的博客 2302

Palabos 并行计算与多物理场模拟实战指南

本文详细介绍了Palabos在并行计算与多物理场模拟中的实战应用。作为基于C++和LBM的开源CFD工具,Palabos通过MPI实现高效并行计算,特别适合处理复杂流体模拟问题。文章涵盖从基础安装、多物理场耦合技巧到性能优化策略,并分享工业级应用案例与调试经验,帮助开发者快速掌握这一强大工具。

4k5l6j7h8的博客 246

(一)PyBullet机器人仿真入门:从环境搭建到实例解析

本文详细介绍了PyBullet机器人仿真平台从零开始的完整入门指南。内容涵盖环境搭建、官方示例解析、核心操作(连接、世界与模型)、关节控制与状态读取,以及碰撞检测、传感器模拟等高级功能,帮助读者快速掌握这一强大的机器人仿真工具。

weixin_29062865的博客 1384

python爬取信息保存至excel_Python爬取电影信息并保存至Excel

将电影信息根据评分进行排序并保存在电子表格里将电影封面图片插入对应的单元格里运用多进程爬取电影信息用户未登录情况下不要使用多进程频繁请求,否则可能会出现如下提示: 检测到有异常请求从你的 IP 发出,请 [登录] 使用豆瓣。以豆瓣青春题材电影为示例:滚动条向下滑动至页面底部后发现页面底部有加载更多按钮。敲击键盘上的F12打开开发者模式,依次点击Network和XHR标签按钮。点击页面底部的加载更多...

weixin_39928099的博客 970

电力电子技术速通复习

一种完全纯净,结构完整的半导体晶体,其含有两种载流子而且,自由电子的浓度和空穴的浓度总是相等,一般情况下,在硅晶体中掺入P(磷)五价元素,多子为自由电子,少子为空穴;在硅晶体中掺入B(磷)三价元素,多子为空穴,少子为自由电子;6.PN结具有单相导电性,PN结具有雪崩击穿(T越高,击穿电压越大)和齐纳击穿(T越高,击穿电压越小),均可逆,热击穿不可逆;PN结具有电容效应,势垒电容(耗尽层变化等效的电容)扩散电容(非平衡少子引起的电荷量的变化等效出来的电容效应)

qq_62873973的博客 2507

基础爬虫案例爬取实战

1. 准备工作 在本节开始之前,我们需要做好如下的准备工作: 安装好 Python3,最低为 3.6 版本,并能成功运行 Python3 程序。 了解 Python HTTP 请求库 requests 的基本用法。 了解正则表达式的用法和 Python 中正则表达式库 re 的基本用法。 以上内容在前面的章节中均有讲解,如尚未准备好建议先熟悉一下这些内容。 2. 爬取目标 本节我们以一个基本的静态网站作为案例进行爬取,需要爬取的链接为https://ssr1.scrape.center/,这..

m0_59485658的博客 3804

微信小程序云开发订单微信支付与小票和标签打印的完整高效流程

本片文章全文12000字,细致讲述从申请账户到小程序注册到打印机的选型最后到实现微信小程序云开发订单支付更新与小票,标签打印完整的高效流程。客户A在我们的点餐平台上点了一杯咖啡,所以客户要在选好后付款,在付款完成后商家的小票打印机和标签打印机打印出本订单的相关信息。

weixin_52312427的博客 3651

整流桥选型参数,结构原理,工艺与注意问题总结

整流桥(Rectifier Bridge)是一种电子元件,它的主要作用是将交流电(AC)转换为直流电(DC)。这种转换在许多电子设备中都是必要的,因为大多数电子元件和电路都需要直流电源来工作。本文对整流桥的工作原理,结构特点,工艺流程,选型参数及设计注意事项进行总结。

fydar的博客 2192

崔庆才python3网络爬虫开发实战笔记之——猫眼电影排行

目标: 利用requests库和正则表达式爬取猫眼电影TOP100的电影名称,上映时间,评分,图片等信息。 抓取目标站点: url = https://maoyan.com/board/4,如下图所示:排名第一的是《活着》,页面中显示了电影的图片,名称,上映时间,主演,上映地区以及评分等信息。从下图我们可以看出,页面最下面有分页列表,当点击不同的页面时,可以看到url后面的offset参数变化。这是一个偏移量参数,如果offset=n,显示的电影序号为n+1到n+10,每页显示十部电影,一共有十个分页列表。

sushing的博客 883

数据权限设计

随着IT新技术不断完善成熟,企业数字化建设得到全面的发展,数据将成为一个创造财富的重要来源,并且越来越多地被视为一项值得重视的企业资产。未来,很多企业之间的竞争,其实也是资源和数据竞争。那么针对数据资产,如何保障它的安全性呢?数据的权限管理无疑是必不可少的。数据权限从数据源来控制不同的用户能够查看、使用和授权不同的数据表数据(其实就是数据表行列的管控),就如同筑起了一道道护城墙,为数据安全提供了保障。

qq_40664711的博客 1万+

python豆瓣电影top250信息爬取

尝试使用了一次多进程,但是显示效果其实其实不是很好,不想用就去掉吧 #!/usr/bin/env python #-*- coding:utf-8 -*- # file:豆瓣电影.py # author:ytytyt # datetime:2021/7/14 16:00 # software: PyCharm ''' 分析: url:https://movie.douban.com/top250?start=0 每25部电影一页 start+25即翻页 数据位置:ol li(class grid_v.

lzyphhh的博客 336

基于YOLOv8的MVTec AD缺陷检测系统设计与实现

速度快,精度高;支持 anchor-free 架构;支持实例分割和图像分类;模块化代码,易于部署与改进;完美兼容 ONNX、TensorRT 等推理框架;官方支持多平台训练和推理(CPU/GPU)。YOLOv8 是工业视觉检测落地非常理想的选择。MVTec AD(Anomaly Detection)数据集包括15类工业对象,每个对象包括多个子类缺陷(例如 “scratch”, “crack”, “hole”)及正常图像。类别缺陷子类bottlecablecapsule。

YOLO 934

RT-DETR改进策略【模型轻量化】| 替换骨干网络为EfficientNet v1 高效的移动倒置瓶颈结构

本文记录的是基于。采用了创新性的方法,通过精心平衡网络和来提升性能。本文将的设计优势融入RT-DETR中,提升RT-DETR的性能与效率,使其在目标检测任务中表现更为出色。本文配置了原模型中的共种不同大小的模型结构,以满足不同的需求。

Limiiiing的博客 534

基础爬虫实战: 抓取静态网页的信息【爬虫】

利用request库来爬取简单的静态网页,用JSON格式存储爬取的数据的一个简单的项目

Xiunneg的博客 1780

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

网站爬取案例

h2 节点的外面包含一个a节点,这个a节点带有 href属性,这就是一个超链接,其中 href 的值为 /detail/1,这是一个相对网站的根 URL https://ssrl.scrape.center/ 的路径,加上网站的根 URL 就构成了 https://ssrl.scrape.center)detail/1,也就是这部电影的详情页的 URL。接着,我们定义了保存数据的方法 save_data,其中先是获取数据的 name 字段,即电影名称,将其当作JSON 文件的名称;口 name: 名称。

weixin_64297175的博客 875

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

初步运用多进程,利用正则表达式,爬取猫眼电影top100排行榜,储存到本地

爬去猫眼top100排行榜电影的相关信息: # 代码多进程部分在juypter nootebook上,why? # py3自带IDE和pycharm均能运行…… import re import requests from requests.exceptions import RequestException import json from fake_useragent import Use

jiangerchi的博客 670

复分析 阿尔福斯(Ahlfors) 第三版答案 英文

答案分为十章,有部分习题没有答案,全英文复分析阿尔福斯(Ahlfors) 第三版答案

爬虫学习:基础爬虫案例实战

爬虫学习基础案例实战训练

北天的博客 1268

沐阳学爬虫11 Requests+PyQuery+PyMongo基本案例实践

11 Requests+PyQuery+PyMongo基本案例实践 4月一直在找工作和忙毕业论文,好久没更新笔记了,自我督促下!努力养成写博客的习惯! 准备工作 安装好Python3(版本>=3.6),能成功运行Python3程序 了解Python多进程的基本原理 了解Python HTTP请求库requests的基本用法 了解正则表达式的用法和Python中正则表达式库re的基本用法 了解PythonHTML解析库pyquery的基本用法 了解MongoDB并安装和启动MongoDB服务 了解Py

学生沐阳的博客 554

爬虫豆瓣完整版

from bs4 import BeautifulSoup import requests, time, pymongo from multiprocessing import Pool user_agent = 'Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0

weixin_36650342的博客 593

利用Python3的requests和re库爬取猫眼电影笔记

以下笔记,作为参考借鉴,如有疑问可以联系我进行交流探讨! 代码思路很简单,简单概括为: 首先利用requests的get方法获取页面的html文件,之后对得到的html文件进行相对应的正则处理,然后把爬取到的数据保存到本地。 # -*- coding: utf-8 -*- """ 爬取的相关信息有:电影名次、电影名称、主演、上映时间、评分 """ ...

257

多进程抓取猫眼电影top100

import json from multiprocessing import Pool import requests from requests.exceptions import RequestException import re #构造函数,输入一个url网址,发送请求后返回该网址的响应结果 def get_one_page(url): try: respo...

三人行必有我师的博客 397

爬虫学习:Requests+正则表达式爬取猫眼电影

P14 requests+正则表达式 8分钟代码: 引用文本 import requests from requests.exceptions import RequestException def get_one_page(url): try: headers = { ‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleW...

Hello_Bye的博客 391

爬虫实战【4】Python获取猫眼电影最受期待榜的50部电影

前面几天介绍的都是博客园的内容,今天我们切换一下,了解一下大家都感兴趣的信息,比如最近有啥电影是万众期待的? 猫眼电影是了解这些信息的好地方,在猫眼电影中有5个榜单,其中最受期待榜就是我们今天要爬取的对象。这个榜单的数据来源于猫眼电影库,按照之前30天的想看总数量从高到低排列,取前50名。 我们先看一下这个表单中包含什么内容: 【插入图片,6猫眼榜单示例】 具体的信息有”排名,电影海报,电影名称...

rainDG的博客 984
上一篇: RabbitMQ和Kafka的区别
下一篇: Python爬取电影信息:Ajax介绍、爬取案例实战 + MongoDB存储
rubyw
博客等级 码龄7年 1528粉丝 234原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

rubyw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值