转:Python小爬虫——贴吧图片的爬取

Python爬取图片 Python爬取妹子图片 今天我写的一个小爬虫是爬取妹子的图片,想必大家都喜欢,这个都懂。。。 利用python爬虫爬取图片,首先要进行安装python, 在(https://www.python.org/)进行下载python安装 安装python之后,在进行安装第三方库,requests,bs4,lxml这三个库。。。 在cmd中 进行安装pip install requests,输入后回车... 阅读详情

文章转自:https://www.cnblogs.com/Axi8/p/5757270.html,并且本人也用2.7版本python在实践,暂时没出现问题。另外一篇文章链接https://blog.youkuaiyun.com/nzjdsds/article/details/77506254(32个Python爬虫项目让你一次吃到撑)

在对Python有了一定的基础学习后,进行贴吧图片抓取小程序的编写。


 

  目标:  

  • 首先肯定要实现图片抓取这个基本功能
  • 然后实现对用户所给的链接进行抓取
  • 最后要有一定的交互,程序不能太傻吧

一、页面获取

要让python可以进行对网页的访问,那肯定要用到urllib之类的包。So先来个 import urllib 

urllib中有 urllib.urlopen(str) 方法用于打开网页并返回一个对象,调用这个对象的read()方法后能直接获得网页的源代码,内容与浏览器右键查看源码的内容一样。

1 #coding:utf-8
2 import urllib
3 
4 page = urllib.urlopen('http://tieba.baidu.com/p/1753935195')#打开网页
5 htmlcode = page.read()#读取页面源码
6 print htmlcode#在控制台输出

运行结果与查看源码其实差不多

运行结果就不放上来了

也可以写到文本文档中:

复制代码

 1 #coding:utf-8
 2 import urllib
 3 
 4 page = urllib.urlopen('http://tieba.baidu.com/p/1753935195')
 5 htmlcode = page.read()
 6 #print htmlcode
 7 
 8 pageFile = open('pageCode.txt','w')#以写的方式打开pageCode.txt
 9 pageFile.write(htmlcode)#写入
10 pageFile.close()#开了记得关

复制代码

运行一遍,txt就出现在了getJpg.py的目录下

好了别闹,我们把它封装成方法:

1 def get_html(url):
2     page = urllib.urlopen(url)
3     html = page.read()
4     return html

然后我们的页面获取代码就K.O.了


 

二、图片(目标)的提取

做完上面步骤,你打开txt一看,我去!这都是什么跟什么啊,根本找不到图片在哪好伐?

客官别急啊,我这就去给你叫我们的小。。。图片!图片!

首先我们要一个正则表达式 (什么你不会?请看菜鸟入门教程-->Go)

然后我们看源代码,Yeah 我们找到了其中一张图片是这样的

写出图片的正则表达式: reg = r'src="(.+?\.jpg)" width' 

解释下吧——匹配以src="开头然后接一个或多个任意字符(非贪婪),以.jpg" width结尾的字符串。比如图中红框内src后 双引号里的链接就是一个匹配的字符串。

接着我们要做的就是从get_html方法返回的辣么长一串字符串中 拿到 满足正则表达式的 字符串。

用到python中的re库中的 re.findall(str) 它返回一个满足匹配的字符串组成的列表

复制代码

 1 # coding:utf-8
 2 import urllib
 3 import re
 4 
 5 def get_html(url):
 6     page = urllib.urlopen(url)
 7     html = page.read()
 8     return html
 9 
10 reg = r'src="(.+?\.jpg)" width'#正则表达式
11 reg_img = re.compile(reg)#编译一下,运行更快
12 imglist = reg_img.findall(get_html('http://tieba.baidu.com/p/1753935195'))#进行匹配
13 for img in imglist:
14     print img

复制代码

打印出这么多图片链接

光把链接拿出来没用啊,我们的目标是下载下来~

urllib库中有一个 urllib.urlretrieve(链接,名字) 方法,它的作用是以第二个参数为名字下载链接中的内容,我们来试用一下

在上面代码循环中加上 urllib.urlretrieve(img, 'tieba.jpg') 

卧槽!!!怎么只下了一张

至少它下载了不是?啪啪啪啪啪(掌声)

检查下问题出在哪。。。。

没错我们只给了一个tieba.jpg的名字,后来的把前面的覆盖了。

调整下代码:

复制代码

 1 # coding:utf-8
 2 import urllib
 3 import re
 4 
 5 def get_html(url):
 6     page = urllib.urlopen(url)
 7     html = page.read()
 8     return html
 9 
10 reg = r'src="(.+?\.jpg)" width'
11 reg_img = re.compile(reg)
12 imglist = reg_img.findall(get_html('http://tieba.baidu.com/p/1753935195'))
13 x = 0
14 for img in imglist:
15     urllib.urlretrieve(img, '%s.jpg' %x)
16     x += 1

复制代码

啪啪啪啪啪

 第一步完成~


三、指定链接抓取

我想要抓另一个帖子,总不能打开源代码,然后把那段地址改了在运行吧。

只是一个小程序,那也不行欸,加一个让用户指定地址的交互。

先把提取图片的那段代码打包下:

复制代码

1 def get_image(html_code):
2     reg = r'src="(.+?\.jpg)" width'
3     reg_img = re.compile(reg)
4     img_list = reg_img.findall(html_code)
5     x = 0
6     for img in img_list:
7         urllib.urlretrieve(img, '%s.jpg' % x)
8         x += 1

复制代码

最后来个请输入:

复制代码

1 print u'请输入url:',
2 url = raw_input()
3 if url:
4     pass
5 else:
6     url = 'http://tieba.baidu.com/p/1753935195'
7 html_code = get_html(url)
8 get_image(html_code)

复制代码

运行一下,试试另一个帖子:

完美~~


四、交互的添加

虽然写的是一个简单的小程序,但有强迫症的我还是给他加上了交互(不然多难受啊:双击,屏幕一闪,下载完了。。。)

最后的代码

复制代码

 1 # coding:utf-8
 2 import urllib
 3 import re
 4 
 5 def get_html(url):
 6     page = urllib.urlopen(url)
 7     html_code = page.read()
 8     return html_code
 9 
10 def get_image(html_code):
11     reg = r'src="(.+?\.jpg)" width'
12     reg_img = re.compile(reg)
13     img_list = reg_img.findall(html_code)
14     x = 0
15     for img in img_list:
16         urllib.urlretrieve(img, '%s.jpg' % x)
17         x += 1
18 
19 print u'-------网页图片抓取-------'
20 print u'请输入url:',
21 url = raw_input()
22 if url:
23     pass
24 else:
25     print u'---没有地址输入正在使用默认地址---'
26     url = 'http://tieba.baidu.com/p/1753935195'
27 print u'----------正在获取网页---------'
28 html_code = get_html(url)
29 print u'----------正在下载图片---------'
30 get_image(html_code)
31 print u'-----------下载成功-----------'
32 raw_input('Press Enter to exit')

复制代码

相对来说比较舒服的交互体验,大功告成~

百度图片小爬虫 请求分析 Python环境的配置 爬虫的编写 编辑器的选择 参数检查 图片搜索 请求数据 下载图片 结束 效果演示 脚本执行演示 结果演示 代码链接 iOS行业不好混了,公司现在基本没什么事做了。无聊之中,随便搞搞,以前从事C++的时候用过Python,于是心血来潮,试着写下小爬虫,爬取百度上的图片。 请求分析用Chrome打开百度图片,随意搜索一个关键字,再打开『开发者工具』,如图所示: 阅读详情

相关推荐

针对百度贴吧相册图片的图片爬虫(爬取器)

自己用Python写的针对百度贴吧相册图片的图片爬虫(爬取器); 可以爬取任何人的贴吧相册,批量下钻所有相册里所有图片,内附含使用说明。

Python爬虫01_贴吧图片爬取

 原文链接:https://www.cnblogs.com/Axi8/p/5757270.html  目标:   首先肯定要实现图片抓取这个基本功能 然后实现对用户所给的链接进行抓取 最后要有一定的交互,程序不能太傻吧 一、页面获取 要让python可以进行对网页的访问,那肯定要用到urllib之类的包。So先来个 import urllib  urllib中有 urllib.urlo...

winner_looser的博客 658

python爬虫百度贴吧图片,内容,头像爬取代码及解析

python爬虫百度贴吧图片,内容,头像爬取代码及解析。网上博客一般只有百度贴吧的内容或者图片爬虫,我主要在此基础上,写了一些图片,头像,内容等信息的爬虫,主要用到beautifulsoup库等简单操作,适用于新手爬虫

爬取图片

----- 爬取百度贴吧的图片: # coding=utf-8 import urllib import re def getHtml(url): page = urllib.urlopen(url) html = page.read() return html def getImg(html): reg = r'src="(.+?\.jpg)" pic_ext

浅汐 370

MMORPG网络游戏开发之任务系统的架构与设计

在网路游戏中做任务已经成为游戏很重要的一个核心功能和玩法,如何做好一个灵活可扩展的任务系统的架构与设计,今天来给大家分享一些我们的设计经验。接下来我把整个的任务系统分成以下6个模块:对于单机游戏而言,这6个模块都放在客户端直接处理,对于网路游戏而言,模块1~5实现在服务端,模块6实现在客户端。对啦!这里有个游戏开发交流小组里面聚集了一帮热爱学习unity的零基础小白,也有一些正在从事unity开发的技术大佬,欢迎你来交流学习。...

voidinit的专栏 3049

CloudFlare CDN优化延迟

这两天在倒腾一个小网站,因为刚注册的域名还没来得及备案,所以就解析到了国外的服务器临时撸代码。为了防止不必要的麻烦,所以在前端套了CloudFlare,但是延迟就比较感人了,通常在150+左右还时不时的抽风,所以就找了点资料来优化一下这个延迟问题。然后再新增一些CloudFlare的亚太地区节点ip的A解析,有耐心的可以分为电信线路和联通线路,我比较懒,所以只分了境内和默认。众所周知CloudFlare是智齿cname解析的,那么我们今天就要用到这个办法了,这里要注意一下,默认的解析是不能动的。

Zuozi - 网络从业者长见识就来Zuozi.NET 1087

python用src无法爬取全部图片的解决办法

python用src无法爬取全部图片的解决办法 起源于我用get(‘src’)只能爬取网页起始的5张图片,剩下的返回None,当我调出完整的网页源代码后发现,原本的src=‘图片地址’,变成了data-ks-lazyload=‘图片地址’ Elements页面处图片位置是src 但查看完整网页源代码后就变成data-ks-lazyload 原因是网页图片延迟加载(为减轻网页加载压力,鼠标下滑浏览后才加载后续图片) 解决方法:加一步get(‘data-ks-lazyload’) import reques

m0_52346971的博客 2605

2023-11-20 MySQL ARM64 银河麒麟

背景 MySQL是常用数据库,Windows安装比较容易,笔者也有记录。现在国产化系统银河麒麟中安装,不同的是软件安装包不容易下载。一是安装的方式,再一个是MySQL本身的版本,网上很多文档说明其实都是对的,但是为什么那么多都不一样呢?就是MySQL本身的版本差异比较大,这些差异笔者也不是很清楚,但是不要用8和5.7的差异非常大,8即使安装的很顺利,在使用过程也会很多坑,导致我宁愿卸载8,也要重新...

jxmh1991@163.com 814

python爬虫 十行代码实现爬取贴吧图片

python版本3.6 import requests from bs4 import BeautifulSoup import urllib.request url = 'https://tieba.baidu.com/p/5902653180' header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 .

义不容辞的博客 1025

ROS 入门教程:小乌龟仿真器和基础操作

小乌龟仿真器和ros基础操作

zlflll的博客 4127

python爬取图片失败显示404_python3使用Django后网页的图片文件无法显示404的路径问题(static文件夹的放置)...

python3使用Django后网页的图片文件无法显示404的路径问题(static文件夹的放置)最近在撰写Django程序web网页的时候,发现网页的内容都能加载,但是图片都加载不了,相应的js,css文件都加载不了,经过分析知道是图片资源路径的问题。下面是一个简单配置Django程序的介绍帖子,有需要的同学可以直接粘贴。解决方法:STATIC_URL = '/static/'STATIC_RO...

weixin_39533307的博客 495

刚体转动欧拉方程:从理论到卫星姿态控制的实践

刚体转动欧拉方程是描述刚体旋转运动的基本动力学方程,在卫星姿态控制、机器人学、航空航天等领域有着广泛应用。本文将详细讲解欧拉方程的物理概念、数学推导、数值计算方法,并重点分析其在卫星姿态控制系统中的具体应用。

ScilogyHunter的博客 644

Python小爬虫——贴吧图片的爬取

Python小爬虫——贴吧图片的爬取 2018年10月16日 15:32:08missing_much阅读数 312 文章转自:https://www.cnblogs.com/Axi8/p/5757270.html,并且本人也用2.7版本python在实践,暂时没出现问题。另外一篇文章链接https://blog.youkuaiyun.com/nzjdsds/article/details/77506...

xtggbmdk的博客 392

深入Netflix影片分类数据抓取的Python爬虫实战:反反爬机制绕过与Playwright应用全解析

技术工具用途Playwright控制真实浏览器模拟用户行为开发语言asyncio异步调度浏览器任务pandas数据处理和导出sqlite3本地数据库存储支持随机UA模拟,增强反爬能力为什么选择 Playwright?✅ 支持多浏览器(Chromium、Firefox、WebKit)✅ 原生支持 Python 异步编程✅ 提供截图、滚动模拟、验证码处理等高级功能✅ 反爬能力强,模拟真实用户访问。

2201_76125261的博客 1241

CentOS 7 Linux yum 安装 Docker,解决 Docker 镜像拉取失败问题

本文详细介绍了在 CentOS 7 系统上通过 yum 安装 Docker 的完整流程,包括卸载旧版本、配置阿里云国内镜像源、安装 Docker 及其组件、设置日志限制等关键步骤。针对国内用户常见的 Docker 镜像拉取失败问题,提供了两种实用解决方案:配置镜像加速器或通过代理访问官方源,并附带验证方法与排错指南,帮助读者高效完成 Docker 环境部署。

寒水馨 · 轻量级技术文档 · hanshuixin.org 1718

爬取百度贴吧图片的小爬虫

#本来想要爬取百度图片的图片,但是发现那些图片都是js加载的,具体怎么爬取现在还不能搞清。。。。,所以就选择了百度贴吧里面的图片 #!/usr/bin/python #coding: utf-8 # # name: download images from baiduTieba # #author: Hacker_MJW # #date: 2014-02-15 #...

dileyi4094的博客 163

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

python爬虫入门教程:爬取网页图片

在现在这个信息爆炸的时代,要想高效的获取数据,爬虫是非常好用的。而用python做爬虫也十分简单方便,下面通过一个简单的小爬虫程序来看一看写爬虫的基本过程: 准备工作 语言:python IDE:pycharm 首先是要用到的库,因为是刚入门最简单的程序,我们主要就用到下面这两: import requests //用于请求网页 import re //正则表达式,用于解析筛选网页中的信息 其中re是python自带的,requests库需要我们自己安装,在命令行中输入pip install

qq_46145027的博客 7万+

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

python爬虫贴吧图片_Python爬虫02——贴吧图片爬虫V2.0

Python小爬虫——贴吧图片爬虫V2.0贴吧图片爬虫进阶:在上次。思路:贴吧的链接可以从每个贴吧首页爬取再从爬取到的贴吧链接中一个个去下载图片图片得按帖子放置好,不然就太乱了在这期间研究了下Xpath:Xpath是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。简单点来说就是能让你的爬虫通过标签的id、class、name等属性可以获取到标签的属性...

weixin_39555415的博客 220

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Python爬虫试水————爬取丽水学院百度贴吧帖子信息&分析

这周试着学了下Python 于是准备做个小爬虫练练手 —————————————————————————————— 以下是爬取结果的分析: 爬取目标,百度 丽水学院 贴吧 截止至 2017年2月19号 15:30  爬了1855个网页 共计爬取到87535条主题贴数据(贴吧总主题数共92723个 在爬取过程中因不明原因而丢失了5188个主题贴) 以下文章将主题称为贴子,本文所指的贴

小时的枫的博客 1723

python3-小爬虫实现爬取网络图片

python3-小爬虫实现 一直很好奇python是如何去爬取网络上的资源,所以就去查了一些资料,写了一个小的爬虫,记录一下。 爬取成果: 小爬虫的功能 简单的抓取网页源代码中的图片url,并通过该url下载到指定的文件夹下。 代码编写 获取网页源码 实现该爬虫需要用到最基本的urllib库。 !注意:在python3中,urllib和urllib2进行了合并,现在只有一个urllib模块,ur...

JS新贵的博客 930

python爬取图片保存数据库_python爬取NUS-WIDE数据库图片

实验室需要NUS-WIDE数据库中的原图,数据集的地址为http://lms.comp.nus.edu.sg/research/NUS-WIDE.htm 由于这个数据只给了每个图片的URL,所以需要一个小爬虫程序来爬取这些图片。在图片的下载过程中建议使用VPN。由于一些URL已经失效,所以会下载一些无效的图片。# PYTHON 2.7 Ubuntu 14.04nuswide = "$NUS...

weixin_39611725的博客 367

Python爬虫02——贴吧图片爬虫V2.0

Python小爬虫——贴吧图片爬虫V2.0 贴吧图片爬虫进阶:在上次的第一个小爬虫过后,用了几次发现每爬一个帖子,都要自己手动输入帖子链接,WTF这程序简直反人类!不行了不行了得改进改进。 思路: 贴吧的链接可以从每个贴吧首页爬取 再从爬取到的贴吧链接中一个个去下载图片 图片得按帖子放置好,不然就太乱了 在这期间研究了下Xpath: Xpath...

bailian1957的博客 239

[小爬虫分享]爬取某贴吧首页帖子中的所有图片

编写过程中遇到了两个小的知识盲点,每一个都耽误了我两个小时以上,这是看视频教程然后做项目,纯自学没人指导这一学习方式的缺点。如果改为自己看操作文档的话,应该会好一点。 两个盲点分别是: xpath 的用法:首先在头部导入,然后使用之前要标准化 访问图片链接,使用了f. write,url_open,怎么改都不成,最后一个函数搞定: urllib.request.urlretrieve() 下面...

pikapika_chu的博客 376
上一篇: 转:看了这些程序员接私活的渠道,瞬间爆炸!
下一篇: 堆和栈空间大小和作用
missing_much
博客等级 码龄10年 9粉丝 9原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值