mtime.com上查询电影实在是不方便。

最新推荐文章于 2021-06-27 11:12:47 发布
最新推荐文章于 2021-06-27 11:12:47 发布 · 324 阅读 · 0

一位用户反馈在mtime.com上寻找一部遗忘名称的中国爱情电影时遇到困难。现有的搜索功能如按年代、国家、地区和类型等无法有效帮助定位电影。建议改进搜索功能，提供组合筛选选项以提高查找效率。
我忘记了一部中国爱情片名字
我知道这部中国爱情片一定在mtime.com
但是我不知道怎么去找

按年代查询 简直是个鸡肋，我连电影名字都忘记了 我怎么可能记得年代呢
按国家和地区 ’中国‘出来的是8958部你让我一页一页的查啊。
按电影类型 ’爱情‘出来的是6949部 你又让我一页一页的查啊。
后面那些 按对白语言 按分级 按声音 按色彩简直就是垃圾查询，
能不能做一个组合查询啊 。一个就够了，能一步一步引导我找到这个电影啊
比如 选择 电影区域 中国->电影类型 爱情 这样就能快得多啊，迅雷有这个功能 但是迅雷电影库太小不权威。麻烦改正下这个查询，不然会死人的
我相信不止我一个网友有这个问题。
techim
关注
hadoop集成hbase遇到的错误
q79969786的专栏
10-01 6672
1.org.apache.hadoop.hbase.MasterNotRunningException: Retried 7 times hadoop dfsadmin -safemode leave 2.org.apache.hadoop.hbase.ipc.ServerNotRunningException: org.apache.hadoop.hbase.ipc.Server
-mtime
weixin_33939380的博客
01-22 147
大家在使用find命令中的mtime参数时候，会看到官方的解释如下： -mtime n File's data was last modified n*24 hours ago. See the comments for -atime to understand how rounding affects the interpret...
使用scp拷贝时报报错
wxc20062006的专栏
11-14 3348
现象：重新安装的操作系统，使用scp拷贝文件时报如下错误： IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY!   Someone could be eavesdropping on you right now (man-in-the-middle attack)!   It is also possible that the RSA 
scp.c
记录，总结，成长
03-12 1747
scp.c [plain text] /* * scp - secure remote copy. This is basically patched BSD rcp which * uses ssh to do the data transfer (instead of using rcmd). * * NOTE: This version should NOT be suid r
html 时光网播放视频,mtime时光网电影资料库采集规则
weixin_39876592的博客
06-27 947
经过分析发现，时光网的这个筛选结果页面html中，是用在筛选结果页面通过抓去HTML代码发现电影URL的常规方法在这里不管用，当然筛选结果页的翻页也不管用，因此需要用抓包工具把筛选结果的内部列表页URL找出来。如下：http://service.channel.mtime.com/service/search.mcs?Ajax_CallBack=true&Ajax_CallBackType...
2020-09-28
qq_44214096的博客
09-28 821
使用scrapy框架爬取时光网日本动画电影时光网评分TOP100并保存到mysql数据库 首先创建scrapy项目shiguang（scrapy startproject shiguang （shiguang为你的项目名称）) 在创建的shiguang文件中找到spider文件创建movie Python文件 分析网站网页 我们做一个多页爬取的处理，分析一下时光网下一页的连接 第一页为：http://movie.mtime.com/list/1709.html 第二页：http://movie.mti
git-restore-mtime.exe
06-15
作用 设置本地所有文件的修改时间为 git最后提交时间 安装 下载并放到git.exe同目录即可 使用 直接进入git工作目录，执行 git-restore-mtime ...https://github.com/MestreLion/git-tools/releases/tag/v2022.12
从www.mtime.com按分类批量生成电影资料库的脚本
10-04
从时光网按分类直接获取电影资料库的ant movies catalog...先在ant movies catalog中用makelist.ifs 生成mylist.txt电影名列表，导入ant movies catalog中后用addfilm.ifs直接从mtime获取相关电影资料，生成数据库。
MTime网数据爬虫
11-23
在MTime网站上，可抓取的数据包括但不限于电影名称、导演、主演、上映日期、评分、评论内容、用户评价等。通过爬虫，可以批量获取这些信息，为电影市场的研究、推荐系统的设计或者电影趋势分析提供原始数据。 ...
ProtocolError(解决方案).md
12-14
解决ProtocolError通常需要了解错误发生的上下文信息和具体的编程环境。 以Python语言为例，使用`requests`库发起HTTP请求时，开发者经常会遇到`ProtocolError`。`requests`是一个非常流行的HTTP库，它简化了网络...
mtime时光网宽屏焦点图.zip
11-24
这个项目可能是为mtime时光网设计的一个宽屏焦点图组件，通常用于网站主页，展示电影、电视剧或其他内容的高清大图，并且具有动态切换效果，增强用户体验。 1. **CSS**：在网页设计中，CSS（Cascading Style Sheets...
在编译oc中protocol时出现的错误
weixin_30501857的博客
11-26 178
Command /Applications/Xcode.app/Contents/Developer/Toolchains/XcodeDefault.xctoolchain/usr/bin/clang failed with exit code 1 解决方法：在Build Setting 搜索框中搜索pch，找到了Prefix Header，把后面的Debug中和release中的...
关于Centos7 Samba客户端无法连接，提示protocol negotiation failed: NT_STATUS_IO_TIMEOUT错误
Zh_SaTan的博客
09-21 1万+
关于Centos7 Samba客户端无法连接，提示protocol negotiation failed: NT_STATUS_IO_TIMEOUT错误 按照题目要求需要配置Samba服务，配置完成后安装完Samba客户端软件包samba-client，使用smbclient -U smb1 //192.168.12.13/smbshare 显示上述报错。 配置文件： 报错信息： 防火墙fir...
redis报protocol error的真正原凶
weixin_34138521的博客
07-31 759
为什么80%的码农都做不了架构师？>>> ...
scp 返回 protocol error: unexpected <newline>
JQ软件前沿
10-26 5222
scp 报错 protocol error: unexpected <newline>
Linux - atime，mtime，ctime以及用touch指令来进行修改
YANG
12-25 6424
Linux下的文件或目录有三种时间： 访问时间（Atime）：每当访问这个文件/目录后，Aeecss显示的时间就会更新一次。 修改时间（Mtime）：当对这个文件进行修改后，Modify显示的时间就更新一次。 状态改变时间（Ctime）：状态改变时间是指每次用chmod命令改变文件属性后该时间就会更新一次。 Linux下的命令stat可以查看这些信息，格式是stat 文件名/目录名
[RK3288][Android6.0] 调试笔记 --- 偶发USB摄像头无法打开（Protocol error）
Kris Fei's blog
07-25 2339
Platform: RK3288 OS: Android 6.0 Kernel: 3.10.92 现象: 偶现某几个USB摄像头打开预览时卡住，Log提示VIDIOC_STREAMON Failed err=-1(Protocol error) Log: 原因： 有验证过不同分辨率的预览，也是会卡住。 后来把USB线剪断就正常了，因此线的材质不太好，需要更换。 ...
以太网OAM
热门推荐
学而思之的博客
08-31 1万+
以太网OAM 定义：以太网OAM全称为以太网Operations Administration and Maintenance，即针对以太网的操作管理和维护。 以太网OAM主要功能可分为以下两部分： 故障管理 通过定时或手动发送检测报文来探测网络的连通性。 提供类似IP网络中的Ping（Packet Internet Groper）和Traceroute的功能，对以太网进行故障确认和故障定位。 和保护倒换协议配合，当检测到连通性故障后触发保护倒换，以实现网络业务中断小于等于50毫秒的运营级可
status header not present 解决办法
qq_33143459的博客
09-12 3241
开发时候使用的测试服务器一直没有问题  开发后由于服务器内存不够需要迁移  迁移以后一直报错status header not present导致无法正常测试  百度发现只有两个回答  一个 升级okhtttp 版本到3.3.9  另外一个 是查找是否是okttp版本冲突   第一步进行了升级到3.3.9 发现无法解决 后续差债okhttp版本发现没有 重复,最终 决定升级到最新3.11.0 发现...
from scrapy.selector import HtmlXPathSelector from scrapy.spider import BaseSpider from ..items import MtimeMovieItem, ImageItem class MtimeSpider(BaseSpider): name = "mtime" allowed_domains = ["movie.mtime.com/"] start_urls = [ # "http://movie.mtime.com/movie/search/section/", "http://movie.mtime.com/31889/" ] # 定义需要爬取页面的起始和结束id for num in range(50000, 50006): start_urls.append("http://movie.mtime.com/{0}/".format(num)) def parse(self, response): movie_item = MtimeMovieItem() movie_title = response.xpath('//title/text()').extract()[0] if "你要访问的页面不存在" not in movie_title: movie_item['movie_name'] = movie_title movie_item['mtime_url'] = response.url return movie_item class MtimePhotoSpider(BaseSpider): name = "mPicture" allowed_domains = ["movie.mtime.com/"] start_urls = [ # "http://movie.mtime.com/movie/search/section/", "http://movie.mtime.com/31889/" ] # 定义需要爬取页面的起始和结束id for num in range(31889, 32889): start_urls.append("http://movie.mtime.com/{0}/".format(num)) def parse(self, response): hxs = HtmlXPathSelector(response) imgs = hxs.select('//img/@src').extract() item = ImageItem() item['image_urls'] = imgs return item，修正这个代码使其可以完全运行，并且生成一份表格文件
最新发布
03-20
<think>嗯，我现在需要帮用户修正他们的Scrapy爬虫代码，并且生成一个表格文件。首先，我得仔细看一下用户提供的代码，找出哪里有问题。 首先，用户用了两个爬虫类，MtimeSpider和MtimePhotoSpider。看起来都是继承自BaseSpider。不过，我记得Scrapy的新版本中，BaseSpider已经被弃用了，应该改用Spider类，并且需要从scrapy.spider导入。所以这里需要修改导入语句，把BaseSpider换成Spider，并且调整对应的类继承。 接下来，allowed_domains的设置有问题。用户在每个域名后面加了斜杠，比如"movie.mtime.com/"，但Scrapy的allowed_domains应该是不带协议的，而且不应该有结尾的斜杠。正确的应该是["movie.mtime.com"]。否则，爬虫可能不会正确处理请求，导致被过滤掉。 然后是start_urls的生成。用户用了循环来添加URL，不过两个爬虫类的循环范围不同。比如，MtimeSpider用了range(50000, 50006)，而MtimePhotoSpider用了range(31889, 32889)。这部分可能没问题，但需要确认用户的需求。不过代码中for循环的位置是否正确呢？在类定义内部直接写for循环可能没问题，但需要确保缩进正确。不过一般来说，start_urls可以在类属性中直接定义，或者使用start_requests方法来动态生成。不过用户现在的写法是直接在类定义里循环添加到start_urls，这在Python中是允许的，但可能需要检查是否正确生成URL。 再看parse方法。在MtimeSpider中，用户直接使用response.xpath提取标题，然后检查是否存在“页面不存在”的提示。不过，如果页面不存在的话，response.xpath('//title/text()').extract()可能会返回空列表，这时候取[0]会引发IndexError。所以需要先判断是否有结果，比如用extract_first()或者检查列表是否非空。 在MtimePhotoSpider中，用户使用了HtmlXPathSelector，但Scrapy已经推荐直接使用response.xpath方法，不需要再实例化HtmlXPathSelector对象。所以这部分可以简化，直接使用response.xpath('//img/@src').extract()即可。 关于生成表格文件的问题，用户希望将爬取的数据保存为表格，比如CSV或Excel。Scrapy通常通过Item Pipeline来处理数据的存储，可以编写一个Pipeline来将数据导出为CSV。或者，使用Feed Exports，在运行爬虫时指定输出格式为CSV。用户可能需要在settings.py中启用Item Pipeline，并配置FEED_FORMAT和FEED_URI。 另外，用户可能没有定义好Item的结构。比如MtimeMovieItem和ImageItem需要有哪些字段？在代码中，MtimeSpider的movie_item有'movie_name'和'mtime_url'，而ImageItem有'image_urls'。需要确保这些字段在items.py中正确声明，否则在保存时会出错。 还有，ImageItem中的'image_urls'字段是用于Scrapy的ImagesPipeline的，但用户是否配置了ImagesPipeline？如果需要下载图片，应该在settings.py中设置ITEM_PIPELINES，包括'scrapy.pipelines.images.ImagesPipeline'，并指定IMAGES_STORE路径。不过用户的问题可能只是生成表格，保存图片URL，而不是下载图片本身，所以可能不需要ImagesPipeline，只需要将URL保存到CSV中。 接下来，修正代码的具体步骤： 1. 导入正确的Spider基类：将from scrapy.spider import BaseSpider改为from scrapy.spiders import Spider。同时，确保两个爬虫类继承自Spider，而不是BaseSpider。 2. 修正allowed_domains：去掉末尾的斜杠，改为["movie.mtime.com"]。 3. 在MtimeSpider的parse方法中，处理可能的空结果。例如，先用extract_first()获取标题，再检查是否包含“不存在”。如果标题存在且不包含错误信息，才创建Item。否则，可能返回None或者不处理。 4. 在MtimePhotoSpider中，移除HtmlXPathSelector的使用，直接用response.xpath。同时，可能需要过滤出有效的图片URL，避免爬取到无关的图片。 5. 设置Item的字段：在items.py中定义MtimeMovieItem和ImageItem，确保字段正确声明。 6. 配置Pipeline或使用Feed Exports来导出数据为CSV。如果使用Feed Exports，可以在运行爬虫时添加参数-o output.csv，或者在settings.py中配置FEED_URI和FEED_FORMAT。 7. 可能需要合并两个爬虫，或者分别运行，但用户提供的代码中有两个爬虫类，可能需要分别处理。不过Scrapy项目中通常一个爬虫文件一个爬虫，或者通过不同的name来区分。用户这里可能想同时运行两个爬虫？或者分别运行？需要明确。 此外，用户可能希望将两个爬虫的数据合并到一个表格中，或者分别生成不同的表格。假设用户希望每个爬虫生成各自的CSV文件，可以通过Feed Exports来设置不同的输出文件。 可能的代码修正部分： 对于MtimeSpider： from scrapy.spiders import Spider ... class MtimeSpider(Spider): name = "mtime" allowed_domains = ["movie.mtime.com"] start_urls = [] for num in range(50000, 50006): start_urls.append(f"http://movie.mtime.com/{num}/") def parse(self, response): movie_title = response.xpath('//title/text()').extract_first() if movie_title and "你要访问的页面不存在" not in movie_title: item = MtimeMovieItem() item['movie_name'] = movie_title.strip() item['mtime_url'] = response.url yield item 类似地，MtimePhotoSpider： class MtimePhotoSpider(Spider): name = "mPicture" allowed_domains = ["movie.mtime.com"] start_urls = [] for num in range(31889, 32889): start_urls.append(f"http://movie.mtime.com/{num}/") def parse(self, response): imgs = response.xpath('//img/@src').extract() if imgs: item = ImageItem() item['image_urls'] = imgs yield item 注意，这里用了yield item，而不是return，因为Scrapy的parse方法应该生成器，通过yield返回多个item。而原代码中使用return，可能只能返回一个item。此外，需要检查是否有图片URL被正确提取。 关于生成表格，用户可以使用Scrapy的Feed Exports功能，运行爬虫时指定输出格式： scrapy crawl mtime -o movies.csv scrapy crawl mPicture -o images.csv 但需要确保在items.py中正确声明字段，例如： class MtimeMovieItem(scrapy.Item): movie_name = scrapy.Field() mtime_url = scrapy.Field() class ImageItem(scrapy.Item): image_urls = scrapy.Field() # 如果需要保存图片的其他信息，可以添加更多字段 这样，运行爬虫时会自动生成CSV文件，每行对应一个item。 可能还需要处理重复的URL或增加错误处理，比如处理404响应，可以通过设置handle_httpstatus_list或者检查response.status。 总结修正步骤： 1. 替换Spider基类，修正导入。 2. 修正allowed_domains。 3. 使用response.xpath直接，避免HtmlXPathSelector。 4. 处理可能的空结果，使用extract_first()。 5. 使用yield返回item，而非return。 6. 配置Feed Exports导出为CSV。 此外，用户可能需要安装必要的库，如pandas（如果要用它生成表格），但Scrapy自带的Feed Exports可以直接生成CSV，无需额外代码。</think>以下是修正后的代码及实现步骤： ### 代码修正要点 1. **基类更新**：使用`scrapy.Spider`替代已弃用的`BaseSpider` 2. **路径规范**：修正`allowed_domains`尾部斜杠问题 3. **选择器更新**：使用现代选择器语法`response.xpath()` 4. **异常处理**：增加页面不存在判断和空值处理 5. **数据导出**：添加CSV导出管道 ```python import scrapy from scrapy.exporters import CsvItemExporter from ..items import MtimeMovieItem, ImageItem # ===== 修正后爬虫代码 ===== class MtimeSpider(scrapy.Spider): name = "mtime" allowed_domains = ["movie.mtime.com"] # 动态生成URL def start_requests(self): for num in range(50000, 50006): url = f"http://movie.mtime.com/{num}/" yield scrapy.Request(url, callback=self.parse) def parse(self, response): movie_title = response.xpath('//title/text()').get() if movie_title and "你要访问的页面不存在" not in movie_title: item = MtimeMovieItem() item['movie_name'] = movie_title.strip() item['mtime_url'] = response.url yield item class MtimePhotoSpider(scrapy.Spider): name = "mPicture" allowed_domains = ["movie.mtime.com"] def start_requests(self): for num in range(31889, 32889): url = f"http://movie.mtime.com/{num}/" yield scrapy.Request(url, callback=self.parse) def parse(self, response): item = ImageItem() item['image_urls'] = response.xpath('//img/@src').getall() if item['image_urls']: yield item # ===== 添加CSV导出管道 ===== class CsvExportPipeline: def open_spider(self, spider): self.files = {} self.exporters = {} def close_spider(self, spider): for exporter in self.exporters.values(): exporter.finish_exporting() for file in self.files.values(): file.close() def _exporter_for_item(self, item): class_name = item.__class__.__name__ if class_name not in self.exporters: file = open(f"{class_name}.csv", 'wb') self.files[class_name] = file exporter = CsvItemExporter(file) exporter.start_exporting() self.exporters[class_name] = exporter return self.exporters[class_name] def process_item(self, item, spider): exporter = self._exporter_for_item(item) exporter.export_item(item) return item ``` ### 运行步骤 1. **配置文件设置** (`settings.py`) ```python ITEM_PIPELINES = { 'your_project.pipelines.CsvExportPipeline': 300, } FEED_EXPORT_ENCODING = 'utf-8-sig' # 支持中文 ``` 2. **Item定义** (`items.py`) ```python import scrapy class MtimeMovieItem(scrapy.Item): movie_name = scrapy.Field() mtime_url = scrapy.Field() class ImageItem(scrapy.Item): image_urls = scrapy.Field() ``` 3. **运行命令** ```bash # 运行电影信息爬虫 scrapy crawl mtime # 运行图片爬虫 scrapy crawl mPicture ``` ### 生成文件说明 1. **MtimeMovieItem.csv**：包含电影名称和URL ```csv movie_name,mtime_url 肖申克的救赎,http://movie.mtime.com/50000/ ... ``` 2. **ImageItem.csv**：包含图片URL列表 ```csv image_urls http://img31.mtime.cn/movie/2022/03/15/125456.12345678.jpg ... ``` ### 改进亮点 1. **动态URL生成**：使用`start_requests`方法代替硬编码URL列表 2. **现代选择器**：直接使用`response.xpath().get()`链式调用 3. **高效导出**：使用Scrapy内置导出机制+自定义管道 4. **编码优化**：`utf-8-sig`编码确保Excel正常显示中文 完整代码需配合Scrapy项目结构使用，建议通过`scrapy startproject`创建标准项目后，将上述代码放入对应模块中。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值