pytorch深度学习实践 1~2讲 作业一

深度学习框架，要学会看文档。因为框架在不断迭代。

第一讲 人工智能

推理：
中午吃什么？根据外部信息推理。
穿什么？根据衣服场地等信息来推理。

预测：

根据信息，和一个抽象的概念结合起来。
根据🐱推测出来猫这个抽象的概念。
人类智能(使用算法）->人工智能

机器学习，基本上都是监督学习。

以往的算法课
算法的思维方式：穷举、贪心、分治、动态过程。这些都是人工设计出来算法。
机器学习的算法，来自于数据

基于规则的系统：有知识库，比如求原函数，定义了一些列规则，它包含一套计算导数等知识内容。可以根据这些规则，求解出原函数，人工智能的定义是实现一些类似人类智能活动的一些程序，所以基于规则的也是人工智能。

经典的机器学习：手工的特征提取变成向量，使之与输出之间建立映射函数（这个是学习的来的）
表示学习：特征是学习得来的。和映射关系的学习是分开的。
维度组织，两个feature上采样比一个feature上采样多一个数量级。高维空间特征降维到低维空间，保持高维空间的特征。 需要训练特征提取器。
深度学习：特征是简单的特征。设计额外的一层来提取特征。端到端的，训练是合在一起的。
https://www.jianshu.com/p/b1dcd8811326

浅层神经元和高层神经元处理不同级别的信息。分成感知形成。
pytorch是动态图。

第二讲 线性模型

1、数据集
2、model
3、训练
4、inferring

过拟合问题，希望模型泛化能力好。

线性模型：y= w*x
不同w下，计算其loss（MSE）

穷举法，观察得到其大致范围，然后穷举，得到其loss最小的那个w。

训练代码
Visdom ：facebook开源的可视化工具包。
存盘：断点重开问题

import numpy as np
import matplotlib.pyplot as plt

x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]

def forward(x):
	return w * x

def loss(x, y):
	y_pred = forward(x)
	return (y - y_pred) * (y - y_pred)

w_list = []
mes_list = []
for w in np.arrange(0.0, 4.0, 0.1):
	print('w =',w)
	l_sum = 0
	for x_val, y_val in zip(x_data, y_data):
		y_pred_val = forward(x_val)
		loss_val = loss(x_val, y_val)
		l_sum += loss_val
		print('\t', x_val, y_val, y_pred_val,loss_val)
	print('MSE=',l_sum / 3)
	w_list.append(w)
	mse_list.append(l_sum/3)

作业:模型变成了y = x * w + b
需要做到的是，matplotlib文档，找下三维图绘制
此外是三维图绘制常用的np.meshgird()函数

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

fig = plt.figure()
ax = Axes3D(fig)
#模型是y = w*x + b
def forward(x):
    return w * x + b

def loss(x, y):
    y_pred = forward(x)
    return (y - y_pred) * (y - y_pred) 

x_data = [1.0,2.0,3.0]
y_data = [3.0,5.0,7.0]
#利用了广播机制，w和b都在另一维度上扩充了，故计算的时候可以一起计算。
W = np.arange(0.0, 4.0, 0.1)
B = np.arange(-2.0, 2.0, 0.1)
w, b = np.meshgrid(W,B,indexing='ij')
l_sum = 0 
for x_val, y_val in zip(x_data, y_data):
    y_pred_val = forward(x_val)
    l_sum += loss(x_val, y_val)
    
mse = l_sum/3
print(mse.shape)


ax.plot_surface(w, b, mse, rstride=1, cstride=1, cmap=plt.get_cmap('rainbow'))