大数据之眸

对当前各行业方向薪资状况，Python学习路线，Python核心知识做系统归纳！

历时数十天打磨，参考了诸多爬虫理论和实战资料，制作出爬虫从入门到进阶的详细纯干货教程，相信对于想学习爬虫的同学来讲是非常好的福利。此外更好的内容可以关注公众号“雨云飞”，笔者研究生即将毕业，签约BAT，后续会奉献更好的作品给大家～谢谢！目录Python网络爬虫数据采集实战：基础知识内容概要链接直达Python网络爬虫数据采集实战：Requests和Re库内容概要链接...

​通过前七章的学习，相信大家对整个爬虫有了一个比较全貌的了解 ，其中分别涉及四个案例：静态网页爬取、动态Ajax网页爬取、Selenium浏览器模拟爬取和Fillder今日头条app爬取，基本涵盖了爬虫的大致套路。本文在此基础上进一步深耕，使用Scrapy框架构建分布式爬虫系统，更加接近搜索引擎技术。目录一、前期准备1.Scrapy原理概述 2....

​ 前文中我们通过理论讲解和三个爬虫实例构建了一个比较完整的爬虫知识框架，而这三个实例有一个特点就是都是网页端爬虫，本文借助Fildder软件和Python实现对手机app进行抓包的爬虫程序，使得app的数据也无所遁形！目录一、Fiddler介绍1.Fiddler简介2.FiddlerPC端配置3.Fiddler手机端配置二、今日头条app...

​ 通过前文爬虫理论结合实战的部分我们对爬虫有了初步的了解，首先通过requests模拟浏览器进行请求，接着通过正则表达式或者解析库对网页进行解析，还知道了动态网页Ajax的爬取方法，但总是担心模拟不够会被反爬侦测出来，而本文要介绍的方法则是直接调用浏览器的方式进行高仿浏览器爬虫，这样就再也不用担心啦~目录一、Selenium库介绍1.Selenium简介...

前文的爬虫都建立在静态网页基础之上，首先通过请求网站url获取到网页源代码。之后对源代码进行信息提取进而存储即可，本文则针对动态网页进行数据采集，首先介绍Ajax相关理论，之后实战爬取同花顺动态网页，获取个股相关信息。目录一、Ajax理论1.Ajax简介2.Ajax分析3.Ajax提取二、网页分析1.网页概览 2.A...

​ 在了解爬虫基础、请求库和正则匹配库以及一个具体豆瓣电影爬虫实例之后，可能大家还对超长的正则表达式记忆犹新，设想如果想要匹配的条目更加多那表达式长度将会更加恐怖，这显然不是我们想要的，因此本文介绍的解析库可以帮助我们更加轻松地提取到特定信息。目录一、Xpath库1.库简介2.入门测试3.基本方法二、BeautifulSoup库...

​熟悉爬虫的基本概念之后，我们可以直接开始爬虫实战的学习，先从Python的requests库即re库入手，可以迅速“get”到python爬虫的思想以及流程，并且通过这两个库就可以建立一个完整的爬虫系统。目录一、requests库1.简介2.入门测试3.主要方法二、re库1.简介2.入门测试3....

​今天开始更新爬虫系列笔记，此系列旨在总结回顾常用爬虫技巧以及给大家在日常使用中提供较为完整的技术参考。在进行正式的爬虫之前有必要熟悉以下爬虫的基本概念，例如爬虫的基本原理、网络通信原理以及Web三件套的相关知识等。目录一、爬虫原理1.获取网页2.提取信息3.保存数据4.自动化程序二、HTTPS1.URL...

注：本人编译环境是win10 + python 3.7（IDE是JetBrains家的pycharm）一、Python简介 Python 是由 Guido van Rossum 在八十年代末和九十年代初，在荷兰国家数学和计算机科学研究所设计出来的。 Python 是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。 Python 的设计具有很强的可...

文件处理 1.文件操作三步走：打开、读写、关闭。open(file, mode='r', buffering=-1,encoding=None, errors=None,newline=None, closefd=True, opener=None) file参数指定了被打开的文件名称。 mode参数指定了打开文件后的处理方式。 enco...

一、字符串编码格式简介 ASCII码采用1个字节来对字符进行编码，仅对10个数字、26个大写英文字母、26个小写英文字母及一些其他符号进行了编码。 GB2312是我国制定的中文编码，使用1个字节表示英语，2个字节表示中文；GBK是GB2312的扩充，而CP936是微软在GBK基础上开发的编码方式。GB2312、GBK和CP936都是使用2个字节表示中文。 UTF-8对全世...

一、函数1.定义函数规则 函数代码块以def 函数名(参数):开头； 接下来第一行可写注释存放函数说明。 函数内容以冒号开始，缩进（缩进用tab键或四个空格，推荐前者） return [表达式]结束函数，选择性的返回一个函数，return后不带表达式则返回None 给出示例，输入：def primenumber(a): ...

一、迭代器迭代器可以记住便遍历的位置的对象，是python最强大的功能之一。迭代器有两基本方法：iter()和next()。给出相应示例，输入：import sys # 引入 sys 模块classmates = ['Joe','phenix','Michael','Ariel','Ashlee','Anika','Marie','Linda','Jenson']​iterat...

一、条件控制 Python的条件语句是通过一条或多条语句的执行结果（True或者False）来决定执行的代码块（如下示例）。输入：import random #导入random随机数模块x = random.randint(1, 100) #x为1-100间任意随机数y = random.randint(1, 100) #y为1-100间任意随机数if x ...

一、Number（数字）python3 支持int（整型）、float（浮点型）、bool（布尔）、complex（复数），一个例子搞定。输入：a,b,c,d = 5,2.1,True,4+3jprint('a的类型为：',type(a)) #type()函数提供括号内数据类型print('b的类型为：',type(b))print('c的类型为：',type(c))print...

一、算数运算符 算数运算符即加减乘除一类，用于数学计算，示例如下。输入：a = 5b = 2c = 0 #依次给a,b,c赋值print('c = ',c) #输出cc = a + b #加print('c\' = ',c)c = a * b #乘print('c\'\' = ',c)c = a % b #余数print('c\'\'\'=',c...