qq_42888201的博客

查看网络的结构和参数信息例如：创建下图三层神经网络（模型参数分别有40、36、15个），输入层4节点，隐含层1有8节点，隐含层2有4节点，输出层3节点#下面一行代码：隐含层1共8节点，激活函数为relu函数，输入数据shape=(4,)model.summary() #使用model.summary查看摘要信息#输出：dense (Dense) (None, 8) 40 #Dense表示全连接，(None, 8)是输出的形状，有40个参数。

激活函数：为了模拟非线性问题，又不能使得问题过于复杂，可以设计神经元对输入信号进行线性处理，得到的线性结果再输入非线性激活函数。

误差反向传播算法（Backpropagation, BP）：利用链式法则，反向传播损失函数的梯度信息，计算出损失函数对网络中所有模型参数的梯度（它计算的只是梯度，其本身不是学习算法，将梯度传递给其他算法，如梯度下降法，来学习更新模型的参数）需要用2个隐含层（下图红色框），用4个神经元（黄色圈）区分4边形，用6个神经元（橙色圈）区分6边形，再将2个图形组合起来（绿色圈）采用2个感知机：一个感知机相当于一根直线，下图第1个感知机实现与运算（11–>1，其他–>0），第2个感知机实现或非运算（见下图红色横线处）

属性选取花萼长度、宽度；标签选山鸢尾（Setosa）、变色鸢尾（Virginica），x_train的数值见上面“Iris数据集实现多元逻辑回归”代码。生成网格坐标矩阵：np.meshgrid()填充网格：plt.pcolomesh()也可以自定义颜色序列。

tf.Variable(initial_value,dtype) initial_value可以指定参数的初始值（可以是数字、Python列表、ndarry对象、Tensor对象），是对Tensor对象进一步的封装，在模型训练过程中自动记录梯度信息，由算法自动优化，在机器学习中作为模型参数。在训练集上的误差——训练误差（training error）；grad=tape.gradient(函数,自变量) #表示被求导的函数和被求导的自变量，grad是返回值。

（其实有点类似于二分法）设梯度为△x，第一次从f（x）开始，然后比较f（x+△x）、f（x-△x）与f（x）的大小，根据实际问题选取较大（小）的一个作为下一个f（x）。一元线性回归（y=wx+b）可以转化为二元函数求极值（就是求arg min Loss(w,b，其中Loss(w,b)=1/2。

（三维数据可视化：使用mplot3d工具包：from mpl_toolkits.mplot3d import Axes3D）注意：这种方法求出来，要求（X^T*X)可逆，否则会有多个解（以后解决这个问题）需要求解参数矩阵W的值，使得Loss最小？x=argmin f(x)的含义（就是f(x)最小时，x等于多少）多维数组：指的就是shape中的参数个数。回归分析中包括两个（以上）的自变量。n维向量：向量中元素的个数为n。

样品：数据集中每一条记录称为“样本（sample）”：由属性（attribute）又叫（特征（feature））和标记/标签（label）组成（如房价，鸢尾花品种，相当于是要区分品种的特征）人工智能：早期符号学习---->后来的机器学习 ，反映了从“理论研究、模型研究”到“应用研究（解决实际现实中的问题）”损失函数/代价函数（Loss/cost function）：模型的预测值与真实值的不一致程度。回归（regression）：预测连续值，如：房价（就是“房价y~面积x”线性关系）