利用Python进行数据分析(1)- 常用的数据分析Python库！

包含编程籽料、学习路线图、爬虫代码、安装包等！【点击领取】

应该是第三次看《利用Python进行数据分析》这本书，经典就是经典。从内容的丰富性，实际的可操作性来看，如果想从事数据分析行业，特别是利用Python，此书真的是必读书籍。

本文主要是介绍几个重要的Python库：numpy、pandas、matplotlib、scikit-learn、statsmodels

为何利用Python进行数据分析
Python是解释性的脚本语言，快速编写小型程序、脚本实现自动化功能
Python在数据科学、交互式计算以及数据可视化等领域，应用普遍
很容易整合C、C++等语言的代码
SAS或者R：进行研究、原型实现和测试；Java、C或者C++：大型生产环境。Python能够同时实现两种功能
Python是一种解释性语言，Python解释器通过一次执行一条语句来运行程序，效率低下

Numpy
Numpy是numerical python的缩写，是Python进行数值计算的基石，主要功能是提供多种数据结构、算法和Python数值计算涉及到的接口

快速、高效的多维数组对象ndarray
基于元素的数组计算或数组间数学操作函数
线性代数操作、傅里叶变换以及随机数生成等
成熟的C语言API，允许Python扩展和本地的C代码访问Numpy的数据结构和计算设施
算法和库之间作为数据传递的数据容器
Pandas
Pandas的两个对象是和。

Series：一种一维标签数组对象
Dataframe：实现表格化、面向列、使用行列标签的数据结构
Pandas将表格和关系型数据库的灵活操作能力与numpy的高性能数组计算能力相结合

提供索引函数：重组、切块、切片、聚合、子集
数据操作、预处理、清洗
集成时间序列函数功能
同时处理时间序列函数和非时间序列函数
pandas的最初目标是解决金融和商业分析问题，尤其擅长深度时间序列和处理商业进程中产生的时间索引数据

Matplotlib
用于制图和二维数据可视化的Python库

Scikit-learn
基于Python的，主要子模块是：

分类：SVM、最近邻、随机森林、逻辑回归等
回归：Lasso、岭回归等
聚类：k-means、谱聚类等
降维：PCA、特征选择、矩阵分解等
预处理：特征提取、正态化等
Statsmodels
Statsmodels是一个，主要是包含经典的统计学、经济学算法

回归模型：线性回归、通用线性模型、鲁棒线性模型等
方差分析ANOVA
时间序列分析：AR、ARMA、VAR模型等
非参数方法：核密度估计、核回归等
统计模型可视化
statmodels更加专注于统计推理，提供不确定性评价和p值参数；scikit-learn更专注于预测

Jupyter notebook
tab键和问号？
jupyter notebook是一种交互式的文档类型，用于编写代码、文本、数据可视化及其输出等

tab键补全：默认隐藏以下划线开始的方法和属性（魔术方法、内部的私有属性和方法）
内省：在一个变量的后面使用问号？，可以查看该对象的信息
双问号？？：显示函数的源代码
问号？还可以当做通配符使用。通配符主要是有两个：星号*和问号？

星号*可以代表任意字符串
问号？只能代表单个字符串，并且该字符串必须存在
%run
如果写了一个Python的脚本文件，即.py文件，可以通过%run来运行

假设创建了个test.py的文件：

运行如下：

如果想让脚本使用交互式环境中已有的变量，使用%run -i代替%run命令

%load
通过%load将脚本文件导入一个代码单元中

中断代码
中断代码使用ctrl+C

粘贴代码
%paste：获得剪贴板中的所有代码，在命令行中作为一个代码块直接运行

%cpaste：给出一个提示符，提示：粘贴代码；如果代码出错，可以通过ctrl+C直接中断

运行时间
通过%timeit来检查Python代码运行时间

魔术命令
凡是以%开始的都是魔术命令magic command

1.自动魔术：魔术命令也可以不加%百分号直接使用，只要变量没有被定义为与魔术函数相同的名字即可，这种特性称之为自动魔术，通过%automagic进行启用/禁用关。

2.魔术命令的输出可以赋值给一个变量

3.通过%quickref和%magic来查看特殊命令

快捷键

尾语：
最后，如果你是准备学习Python或者正在学习（想通过Python兼职），下面这些你应该能用得上：
包括：Python安装包、Python web开发，Python爬虫，Python数据分析，人工智能、自动化办公等学习教程。带你从零基础系统性的学好Python！