python实战笔记之（1）：Requests+正则表达式爬取猫眼电影

最新推荐文章于 2023-09-17 01:34:18 发布
最新推荐文章于 2023-09-17 01:34:18 发布
阅读量783 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 算法设计与分析 工具 文章标签： python 爬虫 requests 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/polyhedronx/article/details/81452691

作为一名python的初学者，有必要在学习的过程中记录笔记，方便以后查看。另外，现在的技术更新很快，通过书籍和视频学习python时，有些内容可能已经过时，所以在此将更新过的内容记录下来。

由于requests应用起来比urllib方便很多，而正则表达式是HTML解析的基础方法，因此本文利用requests+正则表达式将猫眼电影的相关信息爬取下来，然后以文件的形式保存下来。

（1）目标站点分析

首先打开猫眼电影http://maoyan.com/，依次点击“榜单”和“TOP100榜”，页面显示出TOP100榜单的电影信息：

拉到最底部，发现每页有10部推荐电影，点击“下一页”，网页URL中的“offset”变为10：

下面进行网页代码的分析。在网页中点击右键--》“检查”，审查网页元素，可以发现每部电影均包含在一个“<dd>...</dd>”标签之中：

打开标签，可

最低0.47元/天 解锁文章

200万优质内容无限畅学
【Python】Requests+正则表达式 爬取猫眼电影TOP100
胡萝卜的博客
08-07 980
【Python】网络爬虫原理 1.先获取到一个页面，状态码200是成功返回 def get_one_page(url): # 获取一个页面 try: response = requests.get(url) if response.status_code == 200: return response.text ...
requests+正则表达式爬取豆瓣读书top250
懒懒的书虫
12-29 4363
简单的python联手项目，通过rquests库请求得到豆瓣top250网页源代码，并通过正则表达式匹配得到对应信息-书名，作者信息，评分以及简介。 网站的URL为’https://book.douban.com/top250?start=0’,但我们拉到底部发现250本读书的信息被分成了10页，这就需要我们首先对URL的规律进行分析得到所有页面的URL信息传递给get（）方法中请求源代码。 点击...
requests库+正则表达式爬取猫眼电影
weixin_30825199的博客
07-31 380
我们用 requests 库 + 正则表达式构建一个简陋的爬虫，虽然这个爬虫很简陋，但是通过这个例子我们可以对爬虫有一个很好的了解。这次目的是爬取猫眼电影 TOP 100，要想爬取这些信息，我们首先要到猫眼电影 TOP 100 的页面上观察一下（也可以说踩点）。网址为：https://maoyan.com/board/4这就是我们要爬取的页面，现在我们来写一段代码自动访问这个页面。def get_...
小试牛刀，学以致用，Requests+正则表达式爬取猫眼电影
qq_40709303的博客
09-28 496
第一步 目标站点分析 打开猫眼电影，查看源代码，比如我们准备爬取Top100的信息。 查构造，比如title标签，图片用的img，主演star，评分分为两部分等等。 流程框架 ①抓取单页内容，利用requests请求目标站点，得到单个网页HTML代码，返回结果。 ②正则表达式分析，根据HTML代码得到电影的名称，主演，航影视剧，评分，图片链接等信息。 ③保存至文件，通过文件的形式将结果保存，每一部电影一个结果一行Json字符串 ④开启循环及多线程，对多页内容便利，开启多线程提高抓取速度 开始了，爬虫实
Requests+正则表达式爬取猫眼电影top100
浅汐
10-08 1230
#!/usr/bin/python #coding=utf-8 # import requests from requests.exceptions import RequestException import re import json from multiprocessing import Pool def get_one_page(url): try: resp
用Requests和正则表达式爬取猫眼电影(TOP100+最受期待榜）
不思量
10-23 2749
目标站点分析 如图，猫眼电影的翻页offset明显在URL中，所以只要搞定第一页的内容加上一个循环加上offset就可以爬取前100。 流程框架 1、抓取单页内容 利用requests请求目标站点，得到单个网页HTML代码，返回结果。 2、正则表达式分析 根据HTML代码分析得到电影的排名、地址、名称、主演、上映时间、评分等信息。 3、保存至文件 通过文件的形式将结果保存，每一部电影一个结果一...
Python笔记-使用requests获取网页数据及re中用正则表达式获取指定数据
12-22
import requests class HandleLaGou(object): def __init__(self): self.laGou_session = requests.session() self.header = { 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_0) AppleWebKit/...
Pyhton爬小说实例解析笔记——内容分析（正则表达式）
weixin_50759039的博客
06-21 1131
Pyhton爬小说实例解析笔记——内容解析前言 前言
Python提取网站数据笔记：使用正则表达式
最新发布
FudGolang的博客
09-17 413
综上所述，正则表达式是一个强大的工具，可以帮助我们提取网站数据。通过使用Python的re模块，我们可以方便地编写和应用正则表达式来匹配和提取我们需要的数据。在Python中，我们经常需要从网站上提取数据，而正则表达式是一种强大的工具，可以帮助我们实现这个目标。需要注意的是，正则表达式的语法是非常灵活的，可以根据具体的需求进行调整。现在我们已经获取到了网页的HTML源代码，接下来就可以使用正则表达式来提取我们需要的数据了。在上面的代码中，我们使用了一个正则表达式来匹配符合电子邮件地址格式的字符串。
Requests+正则表达式爬取猫眼电影案例
一叶知秋
04-05 351
代码 import requests #要实现快速抓取的话，就要用进程池 from requests.exceptions import RequestException from multiprocessing import Pool import re import json def get_one_page(url): try: response = reque...
Python-使用正则表达式和requests抓取猫眼TOP100的电影信息
08-12
使用正则表达式和requests，抓取猫眼 TOP100 的电影信息
python requests 正则re万能图片下载
03-21
python requests re 正则 爬虫 精简 万能，理论上可以下载任何网页的图片，可以试试看，简单易懂
【3月24日】Requests+正则表达式抓取猫眼电影Top100
Moon_treee的博客
03-24 2281
本次实验爬虫任务工具较为简单，主要是熟悉正则表达式的匹配：pattern = re.compile('<dd>.*?board-index.*?>(\d+)</i>.*?data-src="(.*?)".*?name"><a.*?>(.*?)</a>.*?star">(.*?)</p>.*?releasetime">(.*?)</p>.*?integer">(.*?)</i>.*?fraction"
python requests 正则爬虫
weixin_30439131的博客
02-16 102
代码： import requests from multiprocessing import Pool from requests.exceptions import RequestException import re import json def get_one_page(url): try: if url=='': ...
python爬虫之正则表达式爬取猫眼前100的电影（七）
qq_45353823的博客
02-08 621
import json import requests from requests.exceptions import RequestException import re import time def get_one_page(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Macinto...
Python 爬虫实战（一）——requests+正则表达式 爬取猫眼TOP100
weixin_30508309的博客
06-30 253
一。思路：python 内置了两个网络库 urlib和urlib2,但是这两个库使用起来不是很方便，所以这里使用广受好评的第三库requests。 （基本思路使用requests获取页面信息，使用正则表达式解析页面，为了更加迅速的爬取数据，使用multiprocessing实现多进程抓取。下一篇文章会使用Beautifulsoup来解析页面。这篇文章主要用来记录一下代码过程中遇到的一点问题，关于各...
爬虫之requests + json爬取电影数据
mr~li的博客
06-26 1643
import requests import json from parse import parse_url class DoubanSpider(object): # 构造初始url def __init__(self): # 注意，此url是已经删除掉callback参数的，因为这里要获取json数据 self.origin_url = ...
python 爬虫 requests请求与正则表达式
Daybreak_Knight的博客
03-03 449
作业4 题目： 爬取小说里面的每一章节，然后保存到本地文件。 此次作业涉及到的内容包括request请求和正则表达式。 废话不多说，直接上代码 # 首先导入说需要用到的库 import reuqests import re import os import time # 创建类 class Novelspider(): # 设置头部信息 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) App
python requests 示例_python requests + 正则实例
weixin_30413679的博客
01-28 159
Requests单进程实例import reimport requestsimport jsonfrom requests.exceptions import RequestExceptiondef getPage(url):try:res = requests.get(url)if res.status_code == 200:return res.textreturn Noneexcept R...
Python爬虫全方位教程：源码+96集视频+阿里云学习
4. **正则表达式**：用于从文本中提取特定模式的数据，Python的re模块提供了丰富的正则表达式操作。 5. **BeautifulSoup库**：Python中常用的HTML和XML解析库，通过易于理解的方法来查找、遍历和修改解析树，是爬虫...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值