qq_43629945的博客

tf.multiply() 或 * 为元素对位相乘，即哈达玛积，要求两个矩阵shape一致，或其中一个维度为1。tf.matmul() 或 @ 为矩阵乘法，参与运算的是最后两维形成的矩阵，不支持矩阵-向量乘法或两个向量的点积。tf.scalar_mul() 为标量和张量相乘，即参数之一为标量。外积 tf.tensordot(a, b, axes=0)，点积 tf.tensordot(a, b, axes=1)，a和b都是一维向量。tf.einsum() 是通用函数模板，numpy和Pytorch有类似的用法

循环核、循环核按时间步展开、循环计算层、循环计算过程；tf.keras.layers.SimpleRNN()；实践：字母预测（有 one-hot 和 embedding 两种编码方式实现），输入一个字母预测一个字母 / 连续输入多个字母预测一个字母

全连接网络 —> 卷积神经网络；卷积计算过程、感受野、全零填充padding、批标准化Batch Normalization、池化Pooling、舍弃Dropout；TensorFlow2搭建卷积神经网络

自制数据集；数据增强及其可视化；断点续训，读取、保存模型；可训练参数提取、存入文本；acc/loss可视化

神经网络搭建八股；六步法（import - train,test - models.Sequential()或class MyModel(Model): - model.compile - model.fit - model.summary）；三个案例：iris三分类、MNIST手写数字识别分类、FASHION十分类

预备知识 - 几个函数；神经网络复杂度 - 时间、空间；学习率 - 指数衰减学习率；激活函数 - sigmoid、tanh、ReLU、Leaky ReLU、softmax；损失函数 - MSE、CE、自定义；欠拟合与过拟合 - 正则化缓解过拟合 - L1与L2正则化

读取本地数据；学习率指数衰减

神经网络实现鸢尾花数据集分类