Python实现的人工神经网络算法示例【基于反向传播算法】

本文实例讲述了Python实现的人工神经网络算法。分享给大家供大家参考，具体如下：

注意：本程序使用Python3编写，额外需要安装numpy工具包用于矩阵运算，未测试python2是否可以运行。

本程序实现了《机器学习》书中所述的反向传播算法训练人工神经网络，理论部分请参考我的读书笔记。

在本程序中，目标函数是由一个输入x和两个输出y组成，
x是在范围【-3.14, 3.14】之间随机生成的实数，而两个y值分别对应 y1 = sin(x)，y2 = 1。

随机生成一万份训练样例，经过网络的学习训练后，再用随机生成的五份测试数据验证训练结果。

调节算法的学习速率，以及隐藏层个数、隐藏层大小，训练新的网络，可以观察到参数对于学习结果的影响。

算法代码如下：

#!usr/bin/env python3
# -*- coding:utf-8 -*-
import numpy as np
import math
# definition of sigmoid funtion
# numpy.exp work for arrays.
def sigmoid(x):
  return 1 / (1 + np.exp(-x))
# definition of sigmoid derivative funtion
# input must be sigmoid function's result
def sigmoid_output_to_derivative(result):
  return result*(1-result)
# init training set
def getTrainingSet(nameOfSet):
  setDict = {
    "sin": getSinSet(),
    }
  return setDict[nameOf