机器学习笔记

机器学习暑假任务（一）

关键名词解释

训练集：训练数据模型的数据集。
测试集：评估模型性能P的数据集
验证集：模型训练过程中留出的样本集，它可以用于调整模型的超参数和评估模型的能力。
经验误差：模型在训练集上表现出的误差
泛化误差：新输入数据的误差期望。通常通过在测试集上的性能来评估泛化误差
欠拟合：模型不能再训练集上获得足够低的误差；
过拟合（overfitting）：训练误差和测试误差的差距太大
学习率：梯度下降法中，用于控制步长的一个参数，过大，模型不收敛，发散或者震荡，过小，梯度下降收敛很慢

线性模型

BP算法（误差逆传播算法）

5.3公式推导

个人理解

BP算法主要分为开始的正向传播（参数随机初始化）和误差反向传播（核心就是根据误差进行更新权值和阈值）

正向传播： 是指输入样本从输入层进入网络，经隐层逐层传递至输出层，得到输出层的实际输出与期望输出的误差。

误差反向传播： 是指将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号即作为修正各单元权值的依据。

不断重复此过程，权值不断调整的过程，也即网络的学习训练过程。直到达到终止条件（可以是学习次数，也可以是特定时间等等）；

最终神经网络学到的东西，也就蕴含在每一个连接权值与阈值中。

神经网络

python编程实现用人工神经网络挑选好瓜

# -*- coding: utf-8 -*-
import pandas as pd
import numpy as np
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import StandardScaler
import matplotlib.pyplot as plt

seed = 2020
import random

np.random.seed(seed)  # Numpy module.
random.seed(seed)  # Python random module.

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号
plt.close('all')

# 数据预处理
def preprocess(data):
    # 将非数映射数字
    for title in data.columns:
        if data[title].dtype == 'object':
            encoder = LabelEncoder()
            data[title] = encoder.fit_transform(data[title])
            # 去均值和方差归一化
    ss = StandardScaler()
    X = data.drop('好瓜', axis=1)
    Y = data['好瓜']
    X = ss.fit_transform(X)
    x, y = np.array(X), np.array(Y).reshape(Y.shape[0], 1)
    return x, y

# 定义Sigmoid
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

# 求导
def d_sigmoid(x):
    return x * (1 - x)

# 标准BP算法
def standard_BP(x, y, dim=10, eta=0.8, max_iter=500):
    n_samples = 1
    # 随机初始化参数 矩阵形式
    w1 = np.random.random((x.shape[1], dim))
    w2 = np.random.random((dim, 1))
    b1 = np.random.random((n_samples, dim))
    b2 = np.random.random((n_samples, 1))
    # 保存损失
    losslist = []
    for ite in range(max_iter):
        loss_per_ite = []
        for m in range(x.shape[0]):
            xi, yi = x[m, :], y[m, :]
            xi, yi = xi.reshape(1, xi.shape[0]), yi.reshape(1, yi.shape[0])
            # 前向传播
            u1 = np.dot(xi, w1) + b1
            out1 = sigmoid(u1)
            u2 = np.dot(out1, w2) + b2
            out2 = sigmoid(u2)
            loss = np.square(yi - out2) / 2
            loss_per_ite.append(loss)
            print('standard BP---iter:%d  loss:%.4f' % (ite, loss))
            # 反向传播
            g = (yi - out2) * d_sigmoid(out2) # g 式
            d_w2 = np.dot(np.transpose(out1), g) # 即输出层与隐层 权值更新
            d_b2 = -g # 即输出层 阈值更新
            
            d_out1 = np.dot(g, np.transpose(w2)) # 对隐层 输出求导 
            e = d_out1 * d_sigmoid(out1) # e 式
            
            d_w1 = np.dot(np.transpose(xi), e)  # 即输入层与隐层 权值更新
            d_b1 = -e # 隐层 阈值 更新
            # 更新
            w1 = w1 + eta * d_w1
            w2 = w2 + eta * d_w2
            b1 = b1 + eta * d_b1
            b2 = b2 + eta * d_b2
        losslist.append(np.mean(loss_per_ite))
        
    # Loss可视化
    plt.figure()
    ##补充Loss可视化代码
    plt.plot([i + 1 for i in range(max_iter)], losslist)
    plt.legend(['standard  BP'])
    plt.xlabel('iteration')
    plt.ylabel('loss')
    plt.show()
    return w1, w2, b1, b2
    
def predict(x,w1,w2,b1,b2):
    alpha = np.dot(x, w1)  #隐层输入
    b=sigmoid(alpha-b1)#隐层输出
    beta=np.dot(b,w2)  #输出层
    Y=sigmoid(beta-b2) #输出层结果
    return Y