Python爬取电影信息:Ajax介绍、爬取案例实战 + MongoDB存储

爬虫实战(一)利用scrapy爬取豆瓣华语电影 在学习爬虫之前,翻过知乎上的一个回答:利用爬虫技术能做到哪些很酷很有趣很有用的事情?,这大概是我学习爬虫最初的动力。而现在踏过小白阶段后,便开始也想做这样的事情,结合数据分析或是其他的,做一些有趣的东西。 那从简单的开始,第一个爬虫项目是爬取豆瓣华语电影的数据,后面将利用这部分数据进行分析。 1. 爬取思路 在观察了豆瓣每个影片的链接地址后,写下了主要思路: 在豆瓣电影的选片页面,筛选所有华语(... 阅读详情

Ajax介绍

Ajax(Asynchronous JavaScript and XML)是一种用于在Web应用程序中实现异步通信的技术。它允许在不刷新整个网页的情况下,通过在后台与服务器进行数据交换,实时更新网页的一部分。Ajax的主要特点包括:

  1. 异步通信: Ajax是异步的,这意味着它可以在不阻塞用户界面的情况下进行通信。用户可以继续与网页交互,而不必等待服务器响应。

  2. 数据交换: Ajax允许在客户端和服务器之间交换数据,通常使用XML、JSON或其他数据格式。这使得网页能够实时加载、显示和更新数据,而无需完全重新加载整个页面。

  3. 无需页面刷新: 传统的Web应用程序通常在每次与服务器进行交互时都需要刷新整个页面。而Ajax可以仅刷新页面的一部分,从而提供更流畅的用户体验。

  4. 动态内容: Ajax使开发人员能够创建动态的、实时更新的网页内容,这些内容可以根据用户的操作和需求进行动态加载和修改。

  5. 多种用途: Ajax不仅可以用于加载数据,还可以用于提交表单、验证用户输入、自动完成搜索、实时聊天和其他许多Web应用程序中的交互性功能。

Ajax通常由以下几个核心组件组成:

  • XMLHttpRequest对象: 这是Ajax的核心,它允许JavaScript代码与服务器进行通信,发送HTTP请求并接收响应。现代Web开发中通常使用fetch API代替XMLHttpRequest,因为它更简单和强大。

  • 服务器端脚本: 服务器端需要提供接受Ajax请求的端点,并能够处理这些请求,执行相应的操作,并返回响应数据。

  • 异步事件处理: JavaScript代码需要能够在后台处理Ajax请求和响应,以确保不会阻塞用户界面。这通常涉及到使用回调函数或Promise来处理异步操作。

  • 数据格式: Ajax可以使用多种数据格式来交换信息,包括XML、JSON、HTML和纯文本等。

Ajax已经成为现代Web应用程序开发的重要组成部分,它提供了一种有效的方式来实现实时、交互性和动态性的用户体验。很多流行的Web应用程序和框架(如React、Angular和Vue.js)都使用Ajax来处理数据的加载和交互。通过Ajax,Web应用程序可以更好地响应用户的需求,提供更好的用户体验。

案列实战

在上篇文章基础上https://blog.youkuaiyun.com/rubyw/article/details/132714499?spm=1001.2014.3001.5501使用Ajax动态渲染页面爬取,并存储到本地mongo数据库中
网站链接:https://spa1.scrape.center

只看菜单XHR下的信息,观察页面变化时的情况

第一页
在这里插入图片描述在这里插入图片描述
详情页
在这里插入图片描述

# Ajax + MongoDB存储

import pymongo
import requests
import logging

logging.basicConfig(level=logging.INFO,
                    format='%(asctime)s - %(levelname)s: %(message)s')

INDEX_URL = 'https://spa1.scrape.center/api/movie/?limit={limit}&offset={offset}'

MONGO_CONNECTION_STRING = 'mongodb://localhost:27017'
MONGO_DB_NAME = 'movies'
MONGO_COLLECTION_NAME = 'movies'

client = pymongo.MongoClient(MONGO_CONNECTION_STRING)
db = client['movies']
collection = db['movies']

# 处理 JSON 接口
def scrape_api(url):
    logging.info('scraping %s...', url)
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.json()
        else:
            logging.error('get invalid status code %s while scraping %s',
                      response.status_code, url)
        return None
    except requests.RequestException:
        logging.error('error occurred while scraping %s', url, exc_info=True)


LIMIT = 10


def scrape_index(page):
    url = INDEX_URL.format(limit=LIMIT, offset=LIMIT * (page - 1))
    return scrape_api(url)


DETAIL_URL = 'https://spa1.scrape.center/api/movie/{id}'


def scrape_detail(id):
    url = DETAIL_URL.format(id=id)
    return scrape_api(url)


TOTAL_PAGE = 10


def save_data(data):
    collection.update_one({
        'name': data.get('name')   # 根据name进行查询
    }, {
        '$set': data   # 表示更新操作
    }, upsert=True)   # 存在即更新,不存在即插入


def main():
    for page in range(1, TOTAL_PAGE + 1):
        index_data = scrape_index(page)
        for item in index_data.get('results'):
            id = item.get('id')
            detail_data = scrape_detail(id)
            logging.info('detail data %s', detail_data)
            save_data(detail_data)
            logging.info('data saved successfully')


if __name__ == '__main__':
    main()

可视化工具RoboMongo/Robo 3T,它使用简单,功能强大,官方网站为https://robomongo.org/,三大平台都支持,下载链接为https://robomongo.org/download。

最终在本地mongo数据库中可以看到最终爬取保存的结果:
在这里插入图片描述

多线程爬取豆瓣电影 首先对网页进行分析 这个就是我们需要的页面 然后看到,这里其实有一个ajax请求,页面上的数据也是从这个请求里生成的。 返回的是一个json格式的数据。 所以接下来要做的就是先在第一个页面,爬取那些分类的url,然后对比这个ajax请求的url,合成最终的url,最后发起请求,得到数据,最后保存到了mongoDB里,就完成了。 代码如下 ​ import ... 阅读详情

相关推荐

[Golang] 爬虫实战-获取动态页面数据-获取校招信息

😚一个不甘平凡的普通人,致力于为Golang社区和算法学习做出贡献,期待您的关注和认可,陪您一起学习打卡!!!😘😘😘文章介绍:爬取网站的招聘信息方法:使用go自带的http包中的方法去爬取相应的数据。

Jing_Hua 1827

python3爬取豆瓣电影Ajax(获取动态内容)

利用python3中的urllib模块对豆瓣电影的“喜剧片”进行爬取。因为是动态页面,我们关注点应在数据来源上,我们知道所有Ajax数据来源都是json,通过Fiddler抓包工具,我们可以获取相应json数据,提取出相应url,以及post请求的QueryString,之后便可以进行代码的编写。 代码如下: # -*- coding:utf-8 -*- from urllib impor

学渣的博客 2106

Python爬虫实战:爬取豆瓣电影影评、评分和评论数

随着互联网的发展,电影已经成为现代生活中不可或缺的一部分,观众对于电影的评价也是他们选择观看影片的一个重要依据。豆瓣作为国内最受欢迎的电影评分和影评平台之一,其提供了大量的电影数据,如评分、评论、影评内容等,这些数据对于电影产业、电影分析、甚至电影推荐系统的构建具有重要价值。首先,我们需要确定爬取的目标。爬虫技术的应用广泛,但我们在使用爬虫时需要遵守相关法律法规和网站的使用协议,尊重数据的版权和隐私。豆瓣电影的页面可以通过URL访问,我们以某一电影的详情页为例,爬取其基本信息和评论内容。

2201_76125261的博客 2423

python爬虫爬取ajax页面

# coding:utf-8 # 引入selenium中的webdriver import re from urllib import urlretrieve from selenium import webdriver import time # webdriver中的PhantomJS方法可以打开一个我们下载的静默浏览器。 # 输入executable_path为当前文件夹下的phantomj

Lance 5589

基于Python的智能电影评分爬取与个性化推荐系统实现

本文详细介绍了一个基于Python的电影评分网站数据爬取与推荐系统的完整实现过程。系统采用Scrapy+Selenium的混合爬虫技术解决动态页面抓取难题,使用MongoDB进行高效数据存储,并构建了基于协同过滤和内容推荐的混合推荐算法。文章包含完整的代码实现、反爬应对策略、数据清洗方法以及推荐系统构建细节,为毕业设计提供了全面参考。关键词:Python爬虫、电影推荐系统、Scrapy、Selenium、协同过滤、内容推荐、MongoDB爬虫框架。

2201_76125261的博客 249

微信小程序转化数据API自归因实战:PHP实现与2025升级要点解析

本文详细解析了2025年微信小程序转化数据API自归因的升级要点与PHP实战实现。核心变化包括接口地址更新、固定access_token的获取方式,以及新增timestamp与nonce等安全参数。文章提供了完整的PHP代码示例,帮助开发者高效完成数据上报,优化腾讯广告投放效果。

git9versioner的博客 989

python爬虫 ajax请求初使用 豆瓣电影

ajax 豆瓣电影初爬取

great 486

遥感卫星影像AI数据集格式规范详解、技术原理与数据生产全流程技术手册

本技术手册旨在系统性地梳理遥感卫星影像AI数据集的各类格式标准(涵盖VOC、COCO、YOLO及遥感专用DOTA格式等),深入剖析其背后的技术原理,并详细阐述数据生产的全过程,涵盖预处理、标注、质量控制及数据增强等关键环节。无论您是刚入门的算法工程师,还是资深的数据生产管理者,本手册都将为您提供详实的参考与指引。

panshengwu的博客 1136

golang获取并解析ajax请求参数(带数组)

前台代码:(category是数组) var data = { title: title, category: category.split(","), cancomment: cancomment, content: content, totalWords: totalWords }; $.ajax({ type: "POST", url:

samete的专栏 1万+

信道估计之MMSE算法

信道估计之MMSE算法前言MMSE估计的原理总结 前言        前篇分析了LS信道估计算法,也说明了由于没有考虑SNR的影响,所以LS算法不适合在低信噪比的情况下使用。本篇来学习信道估计的另外一种常用的算法–MMSE。        为什么说LS没有考虑噪声大小的情况呢,因为LS算法使用的是实际观测量与估计观测量的误差,这并不能精确的代表估计量的真值与估计值的误

大白的博客 2万+

DIY音频必备:手把手教你用AB类功放模块打造高保真桌面音响(含电路图)

本文详细指导如何利用AB类功放模块DIY高保真桌面音响,涵盖选型指南、核心元器件清单、电路搭建与焊接工艺,以及系统调试与音质优化技巧。AB类功放以其接近A类功放的音质和B类功放的效率,成为音频爱好者的理想选择,适合有一定电子基础的实践者。

weixin_42665725的博客 447

爬虫系列教程(5)--- Ajax数据爬取

本文详细介绍了`Ajax`数据爬取的原理和实践方法,包括使用Python的requests库和分析Ajax请求的技巧。

qq_51749909的博客 1614

腾讯2020 unreal虚幻面试题

解析一下,腾讯的unreal客户端面试题: 1.lua性能优化的方向 申请的内存,是造成卡顿的原因之一,在C++与lua交互中,如果参数或者返回值有类变量,那么这个变量不会再交互的栈中存放数据,而会通过申请内存,再指定在交互,这样就造成卡顿,因此可以通过把C++的对象的每个参数分开单独传递,可以解决问题,当时我们游戏改完这个问题后,整体提升了2帧。 其实,主要是Tick循环中,减少与C++的交互,需要的数据不要每帧都去拿,其次,经常拿的一些数据(比方说主角信息),可以做一个lua缓存,...

qq_17347313的博客 1万+

scrapy初步-简单静态爬虫(爬取电影天堂所有电影)

1:scrapy部署:我是在阿里云的centos+python2.7的环境下部署的scrapy。本人比较习惯使用python3.6.1。之前写爬虫程序的时候最经常用的是urllib.request库,其他要用到的模块在各个python版本大同小异。用python2.7的原因是linux自带的python版本默认是次版本,而我在编译安装python3.6的时候环境安装不全,导致安装scrapy之后创建工程的时候提示找不到_sqlite模块,索性直接用2.7 pip install scrapy搞定,安装过程中

2401_84003690的博客 1220

【DEIM创新改进】独家下采样创新改进篇 | ECCV 2026 | DEIM 引入FSD-Down频域-空间动态下采样,在下采样过程中保留小目标的高频信息、助力小目标检测、遥感小目标检测有效涨点

🔥本文提出了一种名为FSD-Down的频域-空间动态下采样模块,用于改进DEIM网络模型在小目标检测中的性能。FSD-Down通过小波分解显式保留低频语义和高频细节,结合分组卷积、动态通道权重和可学习缩放因子,自适应强化目标边缘与纹理特征。该模块能有效减轻传统下采样造成的频率混叠和细节丢失,提升对小目标、密集目标和低对比度目标的检测能力。实验表明,FSD-Down计算开销可控,在保持实时性的同时显著提升检测精度,特别是在VisDrone和AITODv2数据集上对小目标的检测性能提升显著。

Ai缝合怪、助力小伙伴高效发论文 83

Python爬虫实战:采集行业协会、研究机构等平台的政策文件列表与PDF链接批量收集系统,支持自动下载、分类归档和数据库管理(SQLite持久化存储)!

我长期专注 Python 爬虫工程化实战,主理专栏 👉 《Python爬虫实战》:从采集策略到反爬对抗,从数据清洗到分布式调度,持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”,让数据价值真正做到——抓得到、洗得净、用得上。

喵手的博客 642

爬虫实战【11】Python获取豆瓣热门电影信息

之前我们从猫眼获取过电影信息,而且利用分析ajax技术,获取过今日头条的街拍图片。 今天我们在豆瓣上获取一些热门电影的信息。 页面分析 首先,我们先来看一下豆瓣里面选电影的页面,我们默认选择热门电影,...

QDY5945的博客 581

基于潜在空间分数匹配的混合型表格数据合成方法

然而,在我们的模型中,β 预计会更小,因为我们不需要嵌入的分布精确地遵循标准高斯分布,因为我们还有一个额外的扩散模型。受 Transformer 在表格数据分类/回归任务中取得成功的启发,我们首先为每一列学习一个独特的标记器,然后将标记(列)级表示输入到 Transformer 中,以捕捉列之间错综复杂的关系。在第 4 节中,我们证明了通过这种设计,TABSYN 可以在不到 20 次函数评估(NFE)的情况下生成高质量的合成表格数据,这比其他基于扩散的表格数据合成方法要少得多。是标记器的可学习参数。

步子哥的博客 855

Ajax动态数据爬取全流程实战:从接口分析到分布式存储(2025最新版)

Ajax动态数据爬取全流程实战:从接口分析到分布式存储(2025最新版)

KE17RS的博客 907

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

selenium headless chrome爬取豆瓣top100电影详细内容

利用selenium headless chrome爬取豆瓣top100电影详细内容   爬取的url = https://movie.douban.com/typerank?type_name=%E7%88%B1%E6%83%85&type=13&interval_id=100:90&action= 由于现在phantomjs都不维护了,所以也可以使用无头浏览器...

hc1428090104的博客 967

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

别找了,这是python3网络爬虫从入门到进阶最详细的干货教程(附最强理论总结和五大代码案例)

历时数十天打磨,参考了诸多爬虫理论和实战资料,制作出爬虫从入门到进阶的详细纯干货教程,相信对于想学习爬虫的同学来讲是非常好的福利。此外更好的内容可以关注公众号“雨云飞”,笔者研究生即将毕业,签约BAT,后续会奉献更好的作品给大家~谢谢! 目录 Python网络爬虫数据采集实战:基础知识 内容概要 链接直达 Python网络爬虫数据采集实战:Requests和Re库 内容概要 链接...

大数据之眸 2915

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

爬虫实战【12】使用cookie登陆豆瓣电影以及获取单个电影的所有短评

昨天我们已经实现了如何抓取豆瓣上的热门电影信息,虽然不多,只有几百,但是足够我们进行分析了。 今天我们来讲一下如何获取某一部电影的所有短评论信息,并保存到mongodb中。 反爬虫 豆瓣设置的反爬虫机制是比较简单的,我们可以通过selenium模拟浏览器登陆这种终极办法来绕过,但是更加有效率的方法是设置请求头信息的cookie,是豆瓣认为在访问的就是一个用户,而不是机器。 【插入图片,我的cook...

rainDG的博客 1515

利用Python爬取豆瓣电影

目标:使用Python爬取豆瓣电影并保存MongoDB数据库中 我们先来看一下通过浏览器的方式来筛选某些特定的电影:    我们把URL来复制出来分析分析: https://movie.douban.com/tag/#/?sort=T&range=0,10&tags=%E7%94%B5%E5%BD%B1,%E7%88%B1%E6%83%85,%E7%BE%8E%E5%9B%...

weixin_33856370的博客 1807

Python爬虫入门实战之猫眼电影数据抓取(理论篇)

前言   本文可能篇幅较长,但是绝对干货满满,提供了大量的学习资源和途径。达到让读者独立自主的编写基础网络爬虫的目标,这也是本文的主旨,输出有价值能够真正帮助到读者的知识,即授人以鱼不如授人以渔,让我们直接立刻开始吧,本文包含以下内容: Python环境搭建与基础知识 爬虫原理概述 爬虫技术概览 猫眼电影排行数据抓取 Ajax数据爬取猫眼电影票...

若数的博客 3493
上一篇: Python多进程爬取电影信息
下一篇: Studio 3T for MongoDB的介绍及语法简单介绍
rubyw
博客等级 码龄7年 1528粉丝 234原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

rubyw

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值