空空说技术的博客

python3爬虫系列24之重庆微博地铁客运量爬取和可视化1.前言在python3爬虫系列23之selenium+腾讯OCR识别验证码登录微博且抓取数据里面，我们既是又搞selenium自动化，又搞腾讯OCR识别，又搞图片验证码位置截取等等。接下来，让你看看啥叫吐血。。。。这里给大家透露小诀窍：一般做爬虫爬取网站时，首选的都是m站，其次是wap站，最后考虑PC站，因为PC站的各种验证最...

python3爬虫系列23之selenium+腾讯OCR识别验证码登录微博且抓取数据1.前言上一篇是一个python3爬虫系列22之selenium模拟登录需要验证码的微博且抓取数据，我们是首先进入到验证码网页读取验证码，人来手动识别输入，然后再提交。比较麻烦。翻看博客发现，之前有些过关于调用OCR的：python3调用腾讯API(图像/文字/验证码/名片/驾驶证)识别,网上一大堆...

python3爬虫系列22之selenium模拟登录需要验证码的微博且抓取数据1.前言前面一篇说的是 python3爬虫系列21之selenium自动化登录163邮箱并读取未读邮件内容，实际上呢，163的登录没有遇到验证码的问题。现在写一个微博的自动登录的，注意这个是需要验证码的。很多网上的代码不适应了，微博代码已经改了，是最新的2.网页分析目标地址：https://weibo.com...

python3爬虫系列21之selenium 的自动化登录1.前言前面在 python3爬虫系列20之反爬需要登录的网站三种处理方式中介绍的第三种方法，使用自动化测试工具selenium 库。他的作用呢？之前爬虫都是使用到了一些 python 的请求库，模拟浏览器的请求之类的，这些毕竟都是人工的，而如果让爬虫自己去打开浏览器，自己去请求我们要爬取的网站，自己去模拟登录啊搜索啊等等。就可...

python3爬虫系列20之反爬需要登录的网站处理1.前言在上一篇文章中，讲了python3爬虫系列19之反爬随机 User-Agent 和 ip代理池的使用，实际上这是属于反爬中的一个了，在数据采集的过程中，基本上经常遇到这些情况，所以，如果要写持久型采集方案，多要采用这些方式。在以往的案例中，我们都是爬那些不需要登录或者登陆要求不高的网站。那么当你在爬某些网站的时候，需要你登录才可以获...

python3爬虫系列17之多进程爬取2009-2019十年高考分数线1. 前言上一篇文章是python3爬虫系列16之爬虫增速多进程，进程池的用法(白话解释)，在里面我们知道了用来爬虫加速的多进程和进程池的创建使用方式。而之前的多线程爬虫例子python3爬虫系列15之多线程爬取汽车之家批量下载图片，看到python中使用多线程好像并不是很快。最后得出的结论是 在 Python 里面推...

python3爬虫系列18之随机User-Agent 和ip代理池的使用我们前面几篇讲了爬虫增速多进程，进程池的用法之类的，爬虫速度加快呢，也会带来一些坏事。1. 前言比如随着我们爬虫的速度越来越快，很多时候，有人发现，数据爬不了啦，打印出来一看。不返回数据，而且还甩一句话是不是很熟悉啊？要想想看，人是怎么访问网站的？ 发请求，对，那么就会带有request.headers，那么...

python3爬虫系列16之爬虫增速多进程，进程池的用法(白话解释)1.前言上一篇文章呢，python3爬虫系列15之多线程爬取汽车之家批量下载图片，我们采用了多线程的方式来爬取，在耗时环节呢，感觉并不是很快，才600多张图片花了近21秒。至于原因呢，也在最后告诉了大家， 多线程下的 GIL 锁让python的多线程显得有点鸡肋， GIL锁 即全局排他锁，保护了数据安全性的同时，使得多...

python3爬虫系列15之多线程爬取汽车之家批量下载图片1.前言上一篇呢，python3爬虫系列14之爬虫增速多线程，线程池，队列的用法(通俗易懂)，主要介绍了线程，多线程，和两个线程池的使用。这一篇，我们就来实战一下下了~鼠标我最近飘了，都敢去看车网浏览了，看着这么多车，又买不起，心中伤感，于是抓紧把他们拿下来，偷偷欣赏。打开了一个看车网站，https://car.autohome...

python3爬虫系列14之爬虫增速多线程，线程池的用法(通俗易懂)1.前言在上一篇文章中，我们了解了一些 python 高效爬虫的概念，python3爬虫系列14之进程、单进程、多进程、线程、单线程、多线程、并行、并发、互斥锁、协程的白话解释，这一系列。那么我们这一篇就开始了解多线程的使用介绍。现在的 PC 都是多核的，使用多线程能充分利用 CPU 来提供程序的执行效率。每一个进程启...

python3爬虫系列14之进程、单进程、多进程、线程、单线程、多线程、并行、并发、互斥锁、协程的白话解释1. 前言回顾到目前为止，实际上我们的爬虫进程总共介绍了：爬虫架构——确认目标(爬虫对象)——分析网页（抓包分析，URL咋变的，什么参数？）——请求网页（requests库）——解析网页（bs4，lxml）——提取内容（xpath，css selector，re，find，find_al...

python3爬虫系列13之find_all爬虫高考分数线并绘制分析图(普通版)1. 前言之前一篇是python3爬虫系列10之使用pymysql+pyecharts读取Mysql数据可视化分析，里面采用了pyecharts来进行数据绘图。在上一篇文章中，从新介绍了一下python3爬虫系列12之lxml+xpath和BeautifulSoup+css selector不同方式tiobe...

python3爬虫系列12之lxml+xpath和BeautifulSoup+css selector不同方式的tiobe网站爬取接上一篇 python3爬虫系列11之xpath和css selector方式的内容提取介绍，里面说了方法，没有实战某个网站。本文则是作为上一篇的补充：爬虫目标网站：https://www.tiobe.com/tiobe-index/ ，即 tiobe网，是个反...

python3爬虫解析内容提取的几种方式1.内容提取的方式接上上科普篇：python3爬虫系列04之网页解析器：re正则式，BeautifulSoup库的解释，这一篇里面讲了，网页解析器的，re正则式和对BeautifulSoup库以及的他一些解析器做了说明，但是，后面本人发现，属于长文啰嗦篇啊，估计没多人看，直接总结一下，爬虫的时候，怎么用它，一些常用方式吧。善于使用BeautifulS...

python3爬虫系列10之使用pymysql+pyecharts读取Mysql数据可视化分析上一篇文章是python3爬虫系列09之爬虫数据存入MySQL数据库，我们把智联招聘的相关岗位信息存入到了mysql数据库的一张表中去。1. 前言是这样的：（注意：我使用爬虫的时候，爬取了四个城市，分别是：深圳，成都。重庆，贵阳的java工程师岗位。一个城市90条数据，共360条。）然后现在我...

python3爬虫系列09之爬虫数据存入MySQL数据库1. 前言在上一篇当中呢，python3爬虫系列08之新版动态智联爬虫，我们已经把智联招聘的某地区，某岗位，某页数的所有数据爬下来了，然后保存为了一个text文件。这一篇呢，我们说说把数据存入数据库的操作，毕竟真的项目爬虫出来，数据肯定是要入库的。反正我以前搞java的，所以还是要学习一下的关于python怎么操作数据库的？说到数据...

python3爬虫系列08之新版动态智联爬虫和存取数据库进行可视化分析本篇是面向新版动态智联爬虫，数据存储到Mysql数据库，最后使用pyecharts读取并可视化分析。在这之前，上一篇说的是python3爬虫系列07之动态网页Json 数据，爬虫要怎么搞？里面的实战是使用requests+json爬虫：根据输入词爬取豆瓣热门影片。以及对json的分析和对文件的操作工具类：json对象...

python3爬虫系列07之动态 Json 数据，要怎么搞？python3爬虫系列06之整体架构式：根据关键词爬取百度图片经过python爬虫系列的相关学习，现在我们已经会一些基本的静态html页面的爬虫了。接下来开始一些更复杂和实战例子；在前面我们玩了好多静态的 HTML ，想必你应该知道怎么去爬这些数据了，但还有一些常见的动态数据，比如：商品的评论数据实时的直播弹幕，各类影片的评分...

python3 爬虫系列05之整体架构式：根据关键词爬取百度图片因为是从这一系列篇的开头，是说整个python3爬虫的一个架构，但是后面几篇例子呢，写的文章也没有这么多复杂的文件，于是决定开一篇，对着具体的流程介绍这个：python3爬虫系列01之结构：爬虫整体架与常用模块库介绍中的方案，今天这个就是按照这个流程写的一个爬虫例子，在爬虫项目中可能使用到。整个代码的流程如图：调度器询问...

python3爬虫系列04之解析器：根据关键词自动爬取下载百度图片前言经过前面几篇文章：01之爬虫架构02之网页下载器urllib库03之网页下载器requests库现在，我已经会使用 python 模拟浏览器进行一些 Https 的请求了，那么根据我们第一篇所说的结构： 网页下载器() -> 网页解析器() 的流程，接下来该说网页解析器了。我们知道，在发送请求完之后，服务器会...

BeautifulSoup +request 爬虫实战：豆瓣电影 Top 250好吧，虽然我很不情愿用正则，但是多少也是要写一个实战例子的是吧。就使用 requests 和 beautifulsoup 来写一个爬虫。打开目标地址：https://movie.douban.com/top250?start=0&filter=可以看到这样一个网页：每一页显示了 25 条数据，当我...

python爬虫系列之基于requests：根据关键词自动爬取下载百度图片1.前言在上一篇文章当中，我们已经分析过了百度图片的搜索URL的变化，发现关键词就在搜索结果页的网址中。我们只需要把网址中的关键词换掉，就是得到新的关键词的结果页网址。基于这一点，我们开始新的爬虫。上一篇文章我们采用了python的基础模块urllib库来做爬虫，但是现在都不推荐使用它了，比它更好的网页下载器是req...

python3爬虫报错UnicodeEncodeError: ‘ascii’ codec can’t encode characters in position 45-47: ordinal not…今天用python在pycharm中搞爬虫的时候，在公司电脑上运行还好好的，拿回家以后妈蛋就死活用不了啦。一直报错：UnicodeEncodeError: 'ascii' codec can't...

python爬虫系列之 urllib：批量爬取百度图片上一篇文章介绍了整个爬虫的基本架构爬虫的基本架构，后面的文章就开始实战环节了。实战系列呢，会从最初代的爬虫方式一直写到现在的分布式爬虫框架scrapy，而且源码都会给出。当然，这个系列也是作为本人入门爬虫的记录，因此文中有很多不足之处，欢迎补充。废话不多说，开始搞起。开发爬虫的步骤大概就是这样的：这也是以后我们开发实战中的步骤。...

pyton爬虫(一)爬虫整体架构流程如今大数据时代了，博主原来搞java开发的，再不整点新技术，怕是要被淘汰了。于是开始研究起了爬虫系列。一方面呢可以学习python，另一方面呢以后做大数据或者人工智能，都需要数据集吧，自己爬下也好，其次从头开始写，也方便一些人一起学习。爬虫：是一段自动抓取互联网信息的程序；抓取互联网相关数据为自己所用。一、简单爬虫架构首先学习爬虫之前呢，要知道爬虫的一个...