### 关于机器学习大作业中的BP神经网络实现与应用
#### BP神经网络简介
BP（Back Propagation）神经网络是一种多层前馈人工神经网络，能够通过监督学习自动调整权重来最小化预测误差。该算法由 Rumelhart 和 McCelland 提出于1985年[^3]。
#### 数据准备
为了完成基于BP神经网络的大作业，可以选用经典的鸢尾花数据集作为实验对象。此数据集中包含了三种不同类型的鸢尾花卉样本及其特征描述，非常适合用于分类任务的研究和实践[^1]。
#### 构建模型架构
构建一个带有单个隐藏层的标准BP神经网络结构，具体来说就是拥有`d`个输入节点、`q`个隐含层节点以及`k`个输出节点的拓扑形式。这里假设输入层仅负责接收原始数据而不对其进行任何变换操作，因此不涉及偏置项的存在[^2]。
```python
import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import OneHotEncoder, StandardScaler
class NeuralNetwork:
def __init__(self, input_size, hidden_size, output_size):
self.input_size = input_size
self.hidden_size = hidden_size
self.output_size = output_size
# 初始化权重矩阵
self.W1 = np.random.randn(self.input_size, self.hidden_size)
self.b1 = np.zeros((1, self.hidden_size))
self.W2 = np.random.randn(self.hidden_size, self.output_size)
self.b2 = np.zeros((1, self.output_size))
def sigmoid(self, z):
return 1 / (1 + np.exp(-z))
def forward(self, X):
self.z1 = np.dot(X, self.W1) + self.b1
self.a1 = self.sigmoid(self.z1)
self.z2 = np.dot(self.a1, self.W2) + self.b2
y_hat = self.sigmoid(self.z2)
return y_hat
def compute_loss(self, y_true, y_pred):
m = y_true.shape[0]
loss = (-1/m) * np.sum(y_true * np.log(y_pred) + (1-y_true)*np.log(1-y_pred))
return loss
def backward(self, X, y_true, learning_rate=0.01):
m = X.shape[0]
dz2 = self.y_pred - y_true
dW2 = (1/m) * np.dot(self.a1.T, dz2)
db2 = (1/m) * np.sum(dz2, axis=0)
da1 = np.dot(dz2, self.W2.T)
dz1 = da1 * self.a1*(1-self.a1)
dW1 = (1/m) * np.dot(X.T, dz1)
db1 = (1/m) * np.sum(dz1, axis=0)
# 更新参数
self.W1 -= learning_rate*dW1
self.b1 -= learning_rate*db1
self.W2 -= learning_rate*dW2
self.b2 -= learning_rate*db2
if __name__ == "__main__":
iris = datasets.load_iris()
X = iris.data
y = iris.target.reshape(-1, 1)
encoder = OneHotEncoder(sparse=False)
scaler = StandardScaler()
X_train, X_test, Y_train, Y_test = train_test_split(
X, y, test_size=0.2, random_state=42
)
X_train_scaled = scaler.fit_transform(X_train)
X_test_scaled = scaler.transform(X_test)
nn = NeuralNetwork(input_size=X_train.shape[1], hidden_size=10, output_size=len(np.unique(Y_train)))
epochs = 1000
for epoch in range(epochs):
predictions = nn.forward(X_train_scaled)
current_loss = nn.compute_loss(encoder.fit_transform(Y_train), predictions)
if epoch % 100 == 0:
print(f'Epoch {epoch}, Loss: {current_loss}')
nn.backward(X_train_scaled, encoder.fit_transform(Y_train))
```
上述代码展示了如何创建并训练一个简单的BP神经网络来进行鸢尾花种类识别的任务。其中定义了一个名为 `NeuralNetwork` 的类来封装整个过程，并实现了正向传播(`forward`)、损失计算(`compute_loss`)以及反向传播更新权值(`backward`)等功能方法。
博客内容提及大作业链接，但未给出更多详细信息。
扫一扫
813
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
