简单爬取妹子图

python之8步爬取妹子图 本文主要要是利用python爬虫爬取妹子图的所有图片,妹子图主要是静态网站,关于动态网站的爬虫,将会以豆瓣和堆糖网为例,后续进行爬取 首先是导入本次爬取需要的库,代码如下: import random import requests,re,threading,time,os,lxml from requests import RequestException from bs4 import B... 阅读详情

本博文学自卧槽哥:采用Python2.7版本
http://cuiqingcai.com/3179.html

关于转码问题的解决原链接

  • 首先用 type检查编码
  • 直接用str(title)不行
  • 下面说方法:

    • import sys
      reload(sys)
      sys.setdefaultencoding(‘utf-8’)

    • path = str(title).strip().decode(‘utf-8’)
      os.makedirs(os.path.join(“D:\mzitu”, path))
      oschdir(“D:\mzitu\” + path)

附上代码:

# -*- coding:utf-8 -*-
import requests ##导入requests
from bs4 import BeautifulSoup ##导入bs4中的BeautifulSoup
import os
import sys

reload(sys)
sys.setdefaultencoding('utf-8')

headers = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}##浏览器请求头(大部分网站没有这个请求头会报错、请务必加上哦)
all_url = 'http://www.mzitu.com/all'  ##开始的URL地址
start_html = requests.get(all_url,  headers=headers)  ##使用requests中的get方法来获取all_url(就是:http://www.mzitu.com/all这个地址)的内容 headers为上面设置的请求头、请务必参考requests官方文档解释
#print(start_html.text) ##打印出start_html (请注意,concent是二进制的数据,一般用于下载图片、视频、音频、等多媒体内容是才使用concent, 对于打印网页内容请使用text)

#text 尤为重要,谨记
Soup = BeautifulSoup(start_html.text, 'lxml')


##li_list = Soup.find_all('li')
##
##for li in li_list:
##    print(li)
all_a = Soup.find('div', class_='all').find_all('a')
for a in all_a:
##    print(a)
#创建文件夹
    title = a.get_text()
    path = str(title).strip().decode('utf-8')
    os.makedirs(os.path.join("D:/mzitu", path))
    os.chdir('D:/mzitu//'+title)


    href = a['href']
    #print title, href
    html = requests.get(href, headers = headers)
    html_Soup = BeautifulSoup(html.text, 'lxml')
    max_span = html_Soup.find_all('span')[10].get_text()

    for page in range(1, int(max_span)+1):
        page_url = href + '/' + str(page)
        #print(page_url)
        img_html = requests.get(page_url, headers = headers)
        img_Soup = BeautifulSoup(img_html.text, 'lxml')
        img_url = img_Soup.find('div', class_='main-image').find('img')['src']
        #print(img_url)
        name = img_url[-9:-4]
        img = requests.get(img_url, headers = headers)
        f = open(name+'.jpg', 'ab')
        f.write(img.content)
        f.close()
利用Python爬虫唯一图库网上的漂亮妹子图 利用Python爬唯一图库网上的漂亮妹子图 写在前面 学习了很多Python知识,敲写了千万行代码,感觉学Python语言太枯燥乏味了。但是呢,本着美女是学习动力的第一原则,啊哈哈。写个程序把妹子们都下载下来吧。 今天咱们就利用Python爬取唯一图库(http://www.mmonly.cc/mmtp/)上的漂亮的妹子图,给大家一波福利。O(∩_∩)O。 福利时刻 妹子图片质量整体上还是不错呦,... 阅读详情

相关推荐

Python爬虫教程(一)使用request+Beautiful爬取妹子图

官方文档        以下内容大多来自于官方文档,本文进行了一些修改和总结。要了解更多可以参考官方文档:                                            官方文档request安装        通过pip安装pip install requestsrequest部分使用示例    import requests response = requests.ge...

wanhaiwei的博客 6990

Python爬取妹子,哇!太多了,看不过来了,我一个G的硬盘要满了

淘女郎爬虫,可动态抓取淘女郎的信息和照片。 需要额外安装的第三方库 requests pip install requests pymongo pip install pymongo 模块功能 TaoLady.py: 负责发送POST请求和抓取个人信息和图片地址并保存到MongoDB中。 Download_Pic.py: 负责从MongoDB中抽取出淘女郎照片的网址,并下载。 原...

weixin_41334453的博客 3084

python 爬取煎蛋ooxx妹子图

煎蛋网妹子图首页(http://jandan.net/ooxx),这个链接看起来怎么那么邪恶呢?经分析网站隐藏了图片地址。心一横,采取曲线路线,成功爬取大量妹子图~ 源码如下: 1 import requests 2 import re 3 import os 4 import base64 5 from urllib.request import urlretrieve...

weixin_30650859的博客 9696

美女福利图片API接口,免费好用

美女福利图片API接口,免费好用

畅联聚合支付的博客 1万+

微信小程序版妹纸图APIfromgankio

极简的Markdown博客,支持评论

妹子图PHP源码+api接口全套源码上传即可

正题:响应式布局前台瀑布流ajax无刷新加载,框架打开详情,多功能相册插件展示。 这个相册插件也很6 支持全屏 下载 自动播放 缩略图 等等功能。

干货集中营(分享)-每日分享妹子图和技术干货

说明网址:http://gank.io/API接口:http://gank.io/api根据API接口做的一个客户端代码,客户端不是我做的,是@gaolonglong做的。 项目github地址:https://github.com/gaolonglong/GankGirl我学习了这个代码,然后在这里分享一下,对代码中的一些东西稍微改动了一下,然后分享出来,大家可以学习一下。本来添加了一些界面,然

nyyin@qq.com 5万+

爬虫分享(一):单线程爬取妹子图

爬虫分享(一):单线程爬取妹子图 1. 解析网页 ​ url = ‘https://www.27bao.com/’ ​ 首先分析网页结构 ​ 通过分析网页源代码可以发现动图的真实地址全都在img标签下的src属性里,我们要做的工作就是提取这些动图的地址,直接上代码 import requests import time import os from lxml import etree #解析网页,获取动图的地址 def get_urls(): url = 'https://www.27bao.com/' headers = {'User-Agent': 'Mozilla

妹子图简单爬取

使用urllib库 和正则表达式 进行的简单图片爬取,由于还不是特别精通,有些过程处理的不尽人意… 妹子图网址 ''' 注:别忘了将file的路径重新设置 如果在自己电脑不行,可以自行加代理,或者延时一下 ''' import urllib.request import re #import time import urllib.error # ip = ['122.193.24...

weixin_42948137的博客 409

华为昇腾Ascend C中级认证考试-tanh

注册昇腾社区账号后可以免费领券考试。

2600_96284887的博客 476

数字IC后端层次化Hierarchical Flow子系统Sub-System模块 block partition和pin assignment细节盘点

数字IC后端培训教程之Hierarchical Flow子系统block partition和pin assignment详细教程

weixin_37584728的博客 1609

python妹子图软件下载_【简单爬虫】 爬取妹子图 自动下载 [改进]

# 爬取妹子图import requestsimport osfrom bs4 import BeautifulSoupMZITU = 'https://www.mzitu.com'USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.10...

weixin_39880479的博客 778

2019美亚杯团体赛刷题 部分题解(1-42、106-116)

文章目录写在前面使用工具刷题1.在黑客路由器里,有一台设备的MAC地址为00:11:6B:47:4D:55,请问它的IP地址是什么?2.在黑客路由器里,发现一设备的IP地址为192.168.0.103,请问该设备为如下哪一个:3.警方已经查证所有连接此router的设备都归黑客所有,根據黑客路由器的訊息,下列哪组(设备---ip)是错误的:4.Hacker现场检获的Windows主机硬盘已成功取证并制作成镜像Win1.E01,下列哪个是其硬盘证据文件的MD5哈希值。5.MD5hash算法会产生一个什么大小的

7ruth0hn的博客 7550

scrapy简单学习5—图片下载,爬取妹子图

学习网站:爬虫,整站爬取妹子图 1.item.py(定义爬取的内容) import scrapy class MeizituItem(scrapy.Item): url = scrapy.Field() name = scrapy.Field() tags = scrapy.Field() image_...

weixin_34409703的博客 189

别再迷信Intel网卡了!用普通笔记本+TWINCAT3搭建EtherCAT主站的完整避坑实录

本文详细介绍了如何用普通笔记本和TWINCAT3搭建EtherCAT主站的完整避坑指南。通过破除必须使用Intel网卡的迷思,提供软件环境搭建、关键配置步骤、Wireshark抓包技巧及性能优化建议,帮助开发者低成本实现EtherCAT主站功能。

weixin_29305337的博客 707

LangGraph实战训练营-从零构建AI驱动的wiki知识库

本文深入解析 LangChain 团队开源的 Deep Agents 框架核心示例——LLM Wiki,一个基于大语言模型自动构建和维护持久化知识库的生产级 AI Agent 系统。文章从项目架构、环境搭建、核心原理到实战操作全面展开:详解 CompositeBackend 组合后端与细粒度权限控制的安全设计、四种工作模式(初始化/摄取/查询/质量检查)的完整流程、LangSmith 远程沙箱的隔离执行机制,以及人机协同审核(HITL)的实践应用。

program哲学 199

python用BeautifulSoup库简单爬虫入门+案例(爬取妹子图)

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33953249的博客 306

MFC实现键盘钩子(附完整源码)

MFC实现键盘钩子(附完整源码)

希望我的博客,能帮上你解决学习中工作中所遇到的问题 395

使用Scrapy爬虫框架简单爬取图片并保存本地(妹子图)

使用Scrapy爬虫框架简单爬取图片并保存本地(妹子图) 初学Scrapy,实现爬取网络图片并保存本地功能 一、先看最终效果 保存在F:\pics文件夹下 二、安装scrapy 1、python的安装就不说了,我用的python2.7,执行命令pip install scrapy,或者使用easy_install 命令都可...

weixin_30654583的博客 260

软件设计师---计算机系统

软件设计师---计算机系统

我从不打没有准备的仗! 3万+

Python爬虫实战:爬取ETF基金持仓变化

在python复制编辑本文详细介绍了如何使用Python的Scrapy框架爬取ETF基金的持仓变化信息,包括项目的搭建、数据的提取与存储、以及数据的可视化分析。通过本项目,读者可以掌握基本的网页爬虫技术,并应用于实际的财经数据采集与分析中。

2201_76125261的博客 630

python 爬取_我用Python爬取了妹子网100G的套图

前言最近在做监控相关的配套设施,发现很多脚本都是基于Python的。很早之前就听说其大名,人生苦短,我学Python,这并非一句戏言。随着人工智能、机器学习、深度学习的崛起,目前市面上大部分的人工智能的代码 大多使用Python 来编写。所以人工智能时代,是时候学点Python了。进军指南对于没有任何语言开发经验的同学,建议从头系统的学起,无论是书、视频还是文字教程都可以。如果是有其他语言开发经验...

weixin_39548541的博客 2220

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

煎蛋网妹子图爬虫(requests库实现)

煎蛋网妹子图爬虫(requests库实现) 文章目录煎蛋网妹子图爬虫(requests库实现)一、前言环境配置二、完整代码 一、前言 说到煎蛋网爬虫,相比很多人都写过,我这里试着用request库简单的完成,爬取煎蛋网的妹子图并保存到本地,直接上爬取效果。 环境配置 1、requests库 2、BeautifulSoup库 3、os库 二、完整代码 import requests from bs...

Paramete的博客 1187

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

java判断excel是否打开_Java超简单的网络爬虫技术,老司机带你爬取一大波妹子图!附源码...

一、网络爬虫的基本知识网络爬虫通过遍历互联网络,把网络中的相关网页全部抓取过来,这体现了爬的概念。爬虫如何遍历网络呢,互联网可以看做是一张大图,每个页面看做其中的一个节点,页面的连接看做是有向边。图的遍历方式分为宽度遍历和深度遍历,但是深度遍历可能会在深度上过深的遍历或者陷入黑洞。所以,大多数爬虫不采用这种形式。另一方面,爬虫在按照宽度优先遍历的方式时候,会给待遍历的网页赋予一定优先级,这种叫做带...

weixin_39795116的博客 176
上一篇: Redo or Undo
下一篇: Python正则表达式学习
ReZerou
博客等级 码龄10年 19粉丝 119原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值