爬取得猫眼电影前top100排行榜

最新推荐文章于 2021-09-26 08:47:56 发布
最新推荐文章于 2021-09-26 08:47:56 发布
阅读量1k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 爬虫 文章标签： 爬取猫眼电影100数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43078889/article/details/85082099
本文分享了使用Python和Anaconda环境下PyCharm编辑器进行猫眼电影网站爬虫的实践经验，介绍了如何抓取电影信息，包括电影名称、主演及上映时间，并解析了网页结构，展示了如何利用CSS选择器和正则表达式提取所需数据。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 声明

首先声明下这是我在csdn上发表的第一篇关于编程的文章，水平一般，技术含量也不高，所以想看骚操作的请尽快关闭，省得浪费宝贵的时间与生命。

  • 环境介绍
    这是一篇关于python爬虫文章，使用的是anaconda_python_3.7版本，编辑器为pycharm，浏览器为谷歌chrome，涉及到的第三方库不多，写过爬虫的应该都能看懂。

  • 查看page_source
    爬取top100的电影信息。首先用浏览器打开需要爬取数据的网页https://maoyan.com/board/4，观察页面，可以看见电影名，主演，上映时间在这里插入图片描述点击图片，跳转到一个新的界面，可以查看该电影的详细信息
    在这里插入图片描述
    这下清楚了网页的布置，接下来查看我们需要的信息被分别放置在了源码的哪些标签内，右键点击检查
    在这里插入图片描述 可以看霸王别姬的电影名，跳转链接被放置在了一个class为name的p标签内，主演信息放置在class为name的p标签内，上映时间放置在了class为releasetime标签内，三个标签均为兄弟标签。
    仔细观察这个href超链接属性有点奇怪，没有协议没有域名，点击再次跳转到霸王别姬的详情页面。这应该是html一种语法形式，会自动在前面添加主界面的url，组成一个可以跳转的url。是真的nice
    收缩标签可以看到关于霸王别姬的电影信息的所有标签都放置在了一个名为dd标签下，其他兄弟类dd标签也放置了其位置对应的电影信息在这里插入图片描述
    这就前10名电影信息的分布，但我们要爬取的是top100，点击第二页发现url发生了变化，末尾的0变成了10，第三页变成了20，那么我们可以通过修改末尾值的方法来完成网页跳转

  • 要睡觉了，我简单点写
    我的思路是通过css标签选择器，选取出我们需要的标签，再使用正则表达式提取关键信息，再使用迭代的方法获取存放电影信息的10个url，再保存再一个txt的文件内
    在这里插入图片描述
    最后将值迭代出来转换成整个的字符串使用with as方法写入文件中
    在这里插入图片描述

  • 特么
    果然这种东西只能找时间多得点写

爬取猫眼电影TOP100榜单
qq_19846909的博客
09-07 2217
爬取猫眼电影Top100榜单分析网页内容提取 前提：会基础的python3以及requests库，正则等。 分析网页 top100榜单网址为https://maoyan.com/board/4，通过最简单浏览器自带的开发者工具（F12）抓包发现所需内容就在此网址。 也可以直接请求这个网址，用python将返回数据保存下来，代码如下： 很简单，不过多叙述。 内容提取 我采用python自带的正则方法提取（方法有很多种），这是网页源代码内容，每个影片格式相同，接下来就可以写正则提取了。 <div clas
Python爬虫小项目：猫眼电影排行榜TOP100
qq_42703897的博客
12-20 822
第一次写博客，写的不好的或讲不清楚的地方还请多多包涵，那么开始吧。 这次的爬虫小项目，爬取的是猫眼电影排行榜top100的电影相关信息，算是比较简单的项目，接下来是具体的说明： 【运行环境：PyCharm】 首先是需要导入的模块 1.requests：用于获取目标网页 2.lxml：解析获取的网页 3.json：用于生成一个json文件，JSON对我们而言就是通用的数据格式，任何语言都能够解析...
爬取猫眼电影的排行榜前100名
09-11
本次爬虫没有采用scrapy框架，只是用了requests请求，然后用正则表达式进行网页的解析，最后提取出里面所需要的内容
猫眼电影TOP100榜
weixin_30539625的博客
11-23 276
import re import requests def get_html(url): headers = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.10...
爬取猫眼电影网前100的电影排名
小熊提伯斯的博客
11-05 2520
爬取猫眼电影网前100的电影排名 猫眼电影网:http://maoyan.com/board/4 确定要爬取的数据： 1：排名 2：电影名称 3：主演 4：上映舌尖 5：评分 构造下一页url 首页:http://maoyan.com/board/4?offset=0 第二页 http://maoyan.com/board/4?offset=10 第十页 http://maoyan.com/bo...
爬取豆瓣电影TOP100
weixin_43789781的博客
09-26 2327
爬虫 首先我们在网站中打开我们要爬的网站 “http://maoyan.com/board/4” 这就是豆瓣高分电影前100的榜单. 然后我们点击f12，再刷新一次，就可以看到网页的基本信息了。 这时候我们来看一下第一部‘我不是药神中的代码信息。’ 一个dd节点为一个电影的全部信息。 我们用正则表达式的方法去分析上面的代码，首先是class为board-index的排名信息。 我们用正则表达式应该是这么去写 <dd>.*?board-index.*?>(.*?)</i>
python爬取了《哪吒》14万影评，最后的分析结果是这个
小张Python
08-19 2601
《哪吒》逼逼叨 《哪吒之魔童降世》作为暑假档的黑马，给了我们太多的惊喜；从点映之前知名度、宣传度几乎全为零的状态，凭借着自己燃爆的口碑自上映起，票房从5亿突破到10亿、一路上升到20亿、30亿，直到目前的37亿，位居国内影史票房总榜第四，国产动漫影片第一。 《哪吒》跟电影中想要映射的主题一样： 我命由我不由天。 在宣传期间，一部知名度极低、不具有任何流量特征的电影， 自上映起的21天内，连续20...
抓取猫眼电影排行前一百
qq_40604853的博客
07-31 890
代码主要是大神写的：https://cuiqingcai.com/5534.html 需要看具体细节的去该网址： import json import requests from requests.exceptions import RequestException import re import time def get_one_page(url): t...
Python爬虫—猫眼电影排行TOP100
小波大叔
01-23 714
学习Python爬虫也有段时间了，之前也看了许多大神的案例，自己也琢磨了爬取原理，由于是个人公号记录，就省去教科书式教学，纯属记录，由于爬取过程中一直着力于自身技能，所有代码均未作批注，以后文章中必须加以改正。 　　这篇文章是关于猫眼电影排行榜Top100，具体如何排名我们不作研究，只提取我们想要的东西。官网图片如图所示： 　　我们主要提取的内容有电影名称，排名，演员，评分和上映时间，话不多说，...
Python爬取猫眼电影TOP100
11-12
Requests，正则表达式爬取猫眼电影TOP100，并将结果写入TXT文档中
猫眼电影排行榜前100名电影爬取资料
08-25
用正则表达式爬取猫眼电影前100名的电影详情，有电影影评和电影的各类信息介绍，如果你不知道看什么电影可以去看看这个再做定夺！
[python 爬虫]抓取猫眼电影排行top100
sinat_33487968的博客
07-09 675
def get_one_page(url): headers = {'user-agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'} response = requests.get...
爬虫第二式：猫眼电影前100排行榜
杨旭华的博客
12-12 2527
hello hello，小伙伴们你们好，今天我就正式进入爬虫稍微高级一点的阶段了，哈哈哈哈上一篇才是入门了，本章就进阶了，所以没学好入门的小伙伴们先去我的上一篇文章看懂看明白啊，丢个小链接： 爬虫第一式：了解使用爬虫 温馨提示：      好的，接下来我们继续进阶之路   爬虫第二式    大家看到了，本篇的标题是爬取猫眼电影前100排行榜，在这之前我想了想，我觉得有必要温习一下上一篇的技术，所以.
Python爬取猫眼电影top100榜
IMPORTRANDOM的博客
06-26 912
1. 爬取TOP100所有电影的信息,(电影名, 主演， 上映时间)2. 爬取该电影的宣传封面的图片, 保存到本地/mnt/img/目录中;3. 将获取的信息, 保存到mysql数据库中(电影名, 主演， 上映时间, 封面图片的本地路径)（部分功能没有实现）import reimport jsonfrom multiprocessing.pool import Poolfrom requests....
抓取猫眼电影排行榜前100
小白成长之旅
09-06 776
抓取电影前一百并写入txt中，主要是使用re模块练习正则，其他并没有难点
爬取猫眼电影排行榜TOP100数据 --存入mysql
yutaixin的博客
11-15 1353
爬取猫眼电影网站电影排行榜TOP100数据 --存入csv流程 流程 确认页面是动态还是静态：在源码搜索关键字看是否能找到 查看排行榜页面查询字符串中翻页的规律：规律为：offset=(page-1)*10 进入页面源码：右键点击查看元素，复制下需求数据的标签块，如下 <p class="name"><a href="/films/1228" title="天空之城" dat...
抓取猫眼电影排行T100
一颗小甜心的博客
02-22 481
import requests import json from requests.exceptions import RequestException import re import time # 抓取首页 def get_one_page(url): try: headers = { 'User-Agent': 'Mozilla/5.0(Macin...
python爬虫猫眼电影排行top100实例
饶水胜的博客
03-16 899
今天是个好天气，培训了一个月了，可以看的懂python代码，一直对爬虫比较感兴趣，今天星期六没上课就看视频，跟着老师敲代码，中间各种错误，到饭点了才弄好，成功爬取！这个时刻也是值得纪念的，心情和天气一样晴朗。感兴趣的朋友也可以照下面的代码自己敲一遍，运行一下看看效果。 import requests,re from requests.exceptions import RequestExcepti...
爬虫--3.2 实战案例：猫眼电影---使用requests爬虫库爬取猫眼电影中榜单栏⽬中TOP100榜的所有电影信息，并将信息 写⼊⽂件
Amanda_python的博客
11-26 934
先爬取第一页的榜单电影 import requests import time,json,re url = "https://maoyan.com/board/4" headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36' } res = requests.get(url,heade
使用scrapy框架爬去猫眼电影网top100榜
06-11
好的，下面是一个简单的爬虫程序，可以爬取猫眼电影网top100榜的电影名称、主演、上映时间、评分等信息。 首先，在命令行中执行以下命令，创建一个新的Scrapy项目： ``` scrapy startproject maoyan_top100 ``` 然后，进入项目目录，并在命令行中执行以下命令，创建一个新的Spider： ``` cd maoyan_top100 scrapy genspider maoyan_spider maoyan.com ``` 现在，我们可以在`maoyan_top100/spiders/maoyan_spider.py`文件中编写我们的爬虫程序。以下是一个简单的程序，可以爬取猫眼电影网top100榜的电影名称、主演、上映时间、评分等信息： ```python import scrapy class MaoyanSpider(scrapy.Spider): name = 'maoyan_spider' allowed_domains = ['maoyan.com'] start_urls = ['https://maoyan.com/board/4'] def parse(self, response): movies = response.xpath('//dl[@class="board-wrapper"]/dd') for movie in movies: yield { 'title': movie.xpath('.//p[@class="name"]/a/text()').get(), 'star': movie.xpath('.//p[@class="star"]/text()').get(), 'release_date': movie.xpath('.//p[@class="releasetime"]/text()').get(), 'score': movie.xpath('.//p[@class="score"]/i/text()').get(), } next_page = response.xpath('//a[@class="next"]/@href') if next_page: yield response.follow(next_page.get(), self.parse) ``` 在这个程序中，我们首先定义了一个Spider类`MaoyanSpider`，继承自Scrapy的Spider类。然后，我们指定了Spider的名称、允许的域名和起始URL。在`parse`方法中，我们使用XPath选择器来定位电影信息，并将其保存到一个字典中。最后，我们使用`response.follow()`方法来跟踪下一页的链接，以便可以爬取整个top100榜。 现在，我们可以在命令行中执行以下命令，运行我们的爬虫程序： ``` scrapy crawl maoyan_spider -o maoyan_top100.csv ``` 这个命令将会运行我们的爬虫程序，并将结果保存到一个CSV文件中。您可以在`maoyan_top100.csv`文件中查看结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值