Python爬虫实战之抓取淘宝MM照片（一）

最新推荐文章于 2024-04-12 15:15:37 发布
最新推荐文章于 2024-04-12 15:15:37 发布
阅读量2.5k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Python ---- 爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/PatrickZheng/article/details/73448225
本文是Python爬虫实战教程的一部分，讲述了如何在淘宝改版后，利用selenium + phantomJS模拟操作抓取淘女郎照片。尽管淘宝MM版面已不存在，但可以分析网页源码，定位图片元素并使用beautiful soup进行DOM操作。最终实现从class='listing_cons'的div中提取每个MM的昵称和图片链接并保存。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

背景

  Python爬虫系列教程的一次实战，然而淘宝进行过页面改版，现在已经没有淘宝MM这个版面，取而代之的是淘女郎。改版后，页面是使用JS渲染的，并不能直接通过url来切换页码。该系列教程后续讲到了 selenium + phantomJS，通过这个组合来模拟操作，进行页码切换等。

对于上述组合，初步学习可以参考：

  1. Python爬虫利器四之PhantomJS的用法（如果了解JavaScript会比较容易理解）
  2. Python爬虫利器五之Selenium的用法

在学习过程中，不仅仅看上面两篇文章，文章里面有列出官方文档、以及其它学习材料。另外，要善用搜索引擎去获取想要的答案。

开始动手

源地址：https://www.taobao.com/markets/mm/mmku

网页源码

  1. 我用的是Chrome浏览器，ctrl+shift+i 可以调出
最低0.47元/天 解锁文章

200万优质内容无限畅学
利用python爬取淘宝的商品图片！
pythonlaodi的博客
11-30 3633
代码 from selenium import webdriver from selenium.webdriver.common import keys import time import requests import random # 创建浏览器 def functions(): browser = webdriver.Chrome(r'G:\taobao\chromedriver.exe') # 让浏览器打开淘宝 browser.get("https://www.ta
Python爬虫实战：抓取淘宝MM照片
mybook1122的专栏
12-16 897
本篇目标 抓取淘宝MM的姓名，头像，年龄 抓取每一个MM的资料简介以及写真图片 把每一个MM的写真图片按照文件夹保存到本地 熟悉文件保存的过程 1. URL的格式在这里我们用到的URL是 http://mm.taobao.com/json/request_top_list.htm?page=1，问号前面是基地址，后面的参数page是代表第几页，可以随意更换地址。点击开之后，会发现有一些淘宝MM的简介
python爬虫抓取图片
runfeel
07-03 354
关于python爬虫一直以来是很著名的，林林总总也有很多方法，大致起来也就是一个原理。 下面我来介绍一下我用的BeautifulSoup获取的，正则获取也很简单，在这里只说一下BeautifulSoup方法，使用伯乐在线网站作为参考的例子 代码如下 #encoding:UTF-8 import urllib2,urllib,random,threading from bs4 i...
python实现简单爬虫抓取图片
weixin_30443747的博客
03-15 222
最近在学习python,正如大家所知，python在网络爬虫方面有着广泛的应用，下面是一个利用python程序抓取网络图片的简单程序，可以批量下载一个网站更新的图片，其中使用了代理IP的技术。 import urllib.request import os import random def url_open(url): req=urllib.request.Requ...
python爬虫 - 爬取图片
BullKing8185的博客
04-12 4365
1、下载图片示例1：使用 .urlretrieve() 函数 2、下载图片示例2 - 使用 open/write 函数 3、下载图片示例3 3.1 使用 open/write 下载 3.2 使用 urlretrieve下载
python爬虫学习笔记三：图片爬取
bakk0615的博客
11-18 164
图片爬取的代码 r.content 文件的二进制格式 Python引入了with语句来自动帮我们调用close()方法： open(path, ‘-模式-‘,encoding=’UTF-8’) w：以写方式打开， a：以追加模式打开 (从 EOF 开始, 必要时创建新文件) r+：以读写模式打开 w+：以读写模式打开 (参见 w...
Python爬虫实战：淘宝MM照片抓取与解析
本文将详细介绍如何使用Python编写爬虫程序，具体针对的...总结起来，本文是一篇实用的教程，引导读者通过Python爬虫技术获取淘宝淘女郎的相关信息和图片，旨在提升读者的数据抓取能力，是入门和进阶学习者的宝贵资源。
Python爬虫实战PDF
最新发布
10-27
六、Python爬虫实战项目 在实战项目中，需要注意的问题有： 1. 网站反爬虫策略：网站为了防止爬虫访问，可能会设置各种反爬机制，需要爬虫开发者有应对策略。 2. 分布式爬虫：面对需要大规模数据抓取的任务，分布式...
一次Python爬虫的修改，抓取淘宝MM照片
Zilong-Wang
03-02 4159
代码改写为python3.5运行，因为3.5版本语法与模块有所变更 增加cookie验证解决跳转 无法保存图片能够容错而不是停止运行 其他细节修改 流程修改为： 加上cookie与伪装浏览器后先保存所有详情页，因为cookie有过期时间，而保存所有图片太耗时，故先保存详情页面下来，再提取网址获取图片。也可以将提取出来的地址保存为文件再导入获取图片，另一个思路而已，皆可行。
python爬虫--淘宝MM
小沫_jie的博客
12-02 883
PySpider 是一个我个人认为非常方便并且功能强大的爬虫框架，支持多线程爬取、JS动态解析，提供了可操作界面、出错重试、定时爬取等等的功能，使用非常人性化爬取目标网站：https://mm.taobao.com/json/request_top_list.htm?page=1命令行输入pyspider all可以发现程序已经正常启动，并在 5000 这个端口运行。 接下来在浏览器中输入 htt
python网络爬虫抓取图片
02-05
利用python抓取网络图片的步骤： 1.根据给定的网址获取网页源代码 2.利用正则表达式把源代码中的图片地址过滤出来 3.根据过滤出来的图片地址下载网络图片
利用Python爬虫抓取网页上的图片（含异常处理）
08-02
利用Python爬虫抓取网页上的图片，当遇到不合法的URL时，会自动处理异常，不会导致程序崩溃。直到下载完整个页面的图片，程序才会退出
python爬虫 抓取页面图片
07-30
python爬虫 抓取页面图片python爬虫 抓取页面图片python爬虫 抓取页面图片
Python3爬虫抓取百度图片中的图片
08-07
Python3爬虫抓取百度图片中的图片，可根据需求输入关键字、图片数量
python 爬虫之抓取页面图片
04-18
利用python抓取网站界面中的图片，亲测可用，不同的网站只需修改抓取规则即可
Python——爬虫抓取图片
热门推荐
独一无二的我的专栏
08-19 3万+
/* * Copyright (c) 2014, 烟台大学计算机学院 * All rights reserved. * 文件名称：test.cpp * 作 者：李晓凯 * 完成日期：2019年 8 月 19 日 * 版 本 号：v1.0 * * 问题描述： * 输入描述： * 程序输出： */ 用Python写一个爬虫，抓取网络上的图片。 在做的时候要把user-a...
利用python爬取淘宝的商品图片
WS16201224的博客
11-28 6215
利用python爬取淘宝的商品图片 代码 from selenium import webdriver from selenium.webdriver.common import keys import time import requests import random # 创建浏览器 def functions(): browser = webdriver.Chrome(r'G:\taobao\chromedriver.exe') # 让浏览器打开淘宝 browser.ge
《python爬虫实战》：爬取淘宝上MM的信息和照片
wojiushimogui的博客
12-12 5052
经过前面几次的爬虫，自己对爬取网页也有了一定的经验。当我们想爬取网页上的内容时，我们唯一要确定的就是这些内容所对应的正则表达式。此次例子访问的地址为：#访问地址:URL="https://mm.taobao.com/json/request_top_list.htm?page=1"第一步：毫无疑问，获取一个网页的html源码代码如下，这里我们将其写为一个方法。def getPageHtml(self
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值