python数据处理之numpy和pandas（上）
前言：
学习python的基本语法已经半月了，对基本的语句操作也有所熟悉，在学习中主要参考的是廖雪峰老师的python教程，感觉受益很多，文章下面各方前辈的评论也是很好的学习教程，能让我知道错误的原因和解决方法。网址为：https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000。最近也一直在看前百度人工智能首席专家吴恩达老师在网易云课堂上免费开放的《神经网络和机器学习》课程，地址为：http://study.163.com/my#/smarts目前已经进行三周，对两层神经网络以及正反向传播都有些了解了，磨刀不误砍柴工，考过研的都明白一句话，基础不牢，地动山摇！所以我还是想着跟着一个老师或者前辈将python中一些常用的库学习一下。
偶然间在知乎上看到莫烦老师的网站主打python，又恰逢今年毕业的师兄所入职的南京烽火，校招网址：http://njau.91job.gov.cn/campus/view/id/674916对TensorFlow和caffe等有所要求，以及神经网络KNN和CNN方面也有要求，我也在知乎上和其他地方询问一些前辈，烽火公司还是很符合我的预期，所以自己也朝着这方面自学，以求毕业的时候能够达到烽火的招聘标准吧。哈哈，说了这么多，现在就开始吧！
numpy:
数据处理方面，python简直是最好用的语言工具，numpy和pandas是其数据处理最好用的“臂膀”。在开始之前，Windows和Linux用户建议您安装anaconda3，免去了后续一些基本包的安装，也减少了出错几率。神经网络最最基本的运算时来自于矩阵运算。第一步我们开始进行一个矩阵的赋值，显示和规格参数描述，在此之前，我默然您也跟我一样有过其他的语言的基础，也有python的基础。
1.矩阵赋值和规格参数显示
-
import numpy
as np
-
A = np.array([[
1,
2,
3],
-
[
2,
3,
4]])
-
print(A)
-
[[
1
2
3]
-
[
2
3
4]]
-
print(
'number of dim:',A.ndim)
-
print(
'shape:',A.shape)
-
print(
'size:',A.size)
-
number of dim:
2
-
shape: (
2,
3)
-
size:
6
接下来是创建矩阵，注意啊，创建矩阵是通过函数赋值，而上面赋值矩阵是咱们自己赋值给矩阵空间的。
-
import numpy
as np
-
A = np.array([[
2,
2.3,
4],
-
[
2,
3.2,
4]])
-
A0 = np.zeros((
3,
4))
-
A1 = np.ones((
2,
3),dtype=np.int16)
-
Amin = np.empty((
3,
4))
-
Arange = np.arange(
12).reshape((
3,
4))
-
Aline = np.linspace(
1,
10,
6).reshape((
2,
3))
-
print(A)
-
print(A0)
-
print(A1)
-
print(Amin)
-
print(Arange)
-
print(Aline)
下面来解释这段numpy的使用。A是赋值矩阵，也就是前面提到的，A0就是将矩阵的每个元素都设为0，后面的（3,4）即3行4列，完全可以根据自身需要去设置一个全零的任意行任意列的矩阵。A1是设置矩阵元素为全1，（2,3）与之同理，注意后面的dtype，这是设置矩阵的元素的数据类型，可以为整型int,64位，32位和16位等，也可以是浮点型float长度同前，这个根据自身处理数据的需要来进行设定。Amin是建立一个近似于0的最小数的矩阵，可以快速的进行内存空间的分配。Arange是创建一个（3,4）的矩阵，数值为0-11共12个数，也可以设置为一个区间，但数量必须和reshape的矩阵元素个数相同。Aline是进行线段化一段数据，如上1-10之间分六段，这六段的结构为（2,3）的矩阵。这就是矩阵创建的相关知识。运行结果如下所示：
-
[[
2.
2.3
4. ]
-
[
2.
3.2
4. ]]
-
[[
0.
0.
0.
0.]
-
[
0.
0.
0.
0.]
-
[
0.
0.
0.
0.]]
-
[[
1
1
1]
-
[
1
1
1]]
-
[[
0.
0.
0.
0.]
-
[
0.
0.
0.
0.]
-
[
0.
0.
0.
0.]]
-
[[
0
1
2
3]
-
[
4
5
6
7]
-
[
8
9
10
11]]
-
[[
1.
2.8
4.6]
-
[
6.4
8.2
10. ]]
2.numpy基础运算
-
import numpy
as np
-
a = np.array([
10,
20,
30,
40])
-
b = np.arange(
4)
-
print(a,b)
-
print(a>
20,b<
3)
-
c = a-b
-
d = a+b
-
e = a*b
-
f = b**
2
-
g =
10*np.sin(a)
#cos tan等
-
-
-
print(c)
-
print(d)
-
print(e)
-
print(f)
-
print(g)
运算结果为：
-
[
10
20
30
40] [
0
1
2
3]
-
[
False
False
True
True] [
True
True
True
False]
-
[
10
19
28
37]
-
[
10
21
32
43]
-
[
0
20
60
120]
-
[
0
1
4
9]
-
[
-5.44021111
9.12945251
-9.88031624
7.4511316 ]
-
import numpy
as np
-
a = np.array([[
1,
1],
-
[
0,
1]])
-
b = np.arange(
4).reshape(
2,
2)
-
print(a)
-
print(b)
-
c = a*b
-
c_dot = np.dot(a,b)
-
c_dot_1 = a.dot(b)
-
print(c)
-
print(c_dot)
-
print(c_dot_1)
这里两个矩阵进行线性代数中的乘法运算，有两种方式，第一种是np.dot(a,b),第二种为a.dot(b),运算结果如下：
-
[[
1
1]
-
[
0
1]]
-
[[
0
1]
-
[
2
3]]
-
[[
0
1]
-
[
0
3]]
-
[[
2
4]
-
[
2
3]]
-
[[
2
4]
-
[
2
3]]
-
import numpy
as np
-
a = np.random.random((
2,
4))
-
print(a)
-
print(np.sum(a))
-
print(np.max(a))
-
print(np.min(a))
-
print(np.sum(a,axis=
1))
-
print(np.min(a,axis=
0))
-
print(np.min(a,axis=
1))
-
[[
0.2706944
0.48027564
0.00835308
0.83170055]
-
[
0.31429675
0.54158937
0.87013878
0.25754769]]
-
3.57459626981
-
0.870138784946
-
0.00835308363163
-
[
1.59102368
1.98357259]
-
[
0.2706944
0.48027564
0.00835308
0.25754769]
-
[
0.00835308
0.25754769]
3.numpy中的一些内置函数
以下介绍一些numpy本身自带的数据处理函数：
-
import numpy
as np
-
a = np.arange(
2,
14).reshape((
3,
4))
-
-
-
print(a)
-
print(np.argmin(a))
#最小索引值
-
print(np.argmax(a))
-
print(np.mean(a))
#与下一行代码相同
-
print(a.mean())
-
print(np.mean(a,axis=
0))
-
print(np.median(a))
#中位数
-
print(np.cumsum(a))
#第i个数是前i个数相加
-
print(np.diff(a))
#累差，i=i+1-i
-
#print(np.nonzero(a))
-
print(np.transpose(a))
#矩阵的转置，行变列,同下
-
print(a.T)
-
print(np.clip(a,
5,
9))
#阈值控制，大于某值就为某值，小于类似
-
[[
2
3
4
5]
-
[
6
7
8
9]
-
[
10
11
12
13]]
-
0
-
11
-
7.5
-
7.5
-
[
6.
7.
8.
9.]
-
7.5
-
[
2
5
9
14
20
27
35
44
54
65
77
90]
-
[[
1
1
1]
-
[
1
1
1]
-
[
1
1
1]]
-
[[
2
6
10]
-
[
3
7
11]
-
[
4
8
12]
-
[
5
9
13]]
-
[[
2
6
10]
-
[
3
7
11]
-
[
4
8
12]
-
[
5
9
13]]
-
[[
5
5
5
5]
-
[
6
7
8
9]
-
[
9
9
9
9]]
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
