weixin_39731450的博客

from torch.utils.tensorboard import SummaryWriterwriter = SummaryWriter("logs")作用：1.显示不同步的图像writer.add_image(''title'', image_array, step)2.显示数，losswriter.add_scalar(''title'', y, x)

使用keras.layers中的LSTM、DenseDense(2):意思是将步长这个维度的长度改为2LSTM(4,input_shape=(20,1),return_sequence=Ture):4代表隐藏层的输出为维度为4，LSTM网络的输入为（samples个数、步长、特征个数),这里的（20,1）代表步长为20，特征为一维。retuen_sequence=Ture代表返回一个三维，即输入的样式，否则只返回二维，即不包含samples这个维度。...

1.txt文件读取import pandas as pddata = pd.read_csv('', usecouls=[])data = data.values

一.使用keras.model中的Model.Sequential二.使用类创建模型以下是一个自编码器的例子：from keras.layers import Lambda, Input, Dense, LSTM, RepeatVector, TimeDistributedimport kerasfrom keras import layersfrom keras.models import Model,Sequentialfrom keras.datasets import mn.

防止学习率过大导致loss为nan，将lr设置为0：但仍然，out出现nan,导致loss出现nan

Transformer用自注意力机制来处理时序数据，不同于RNN的串行，Transfomer因为每个时间步可以同时计算，可以实现并行。自注意力机制：利用三个权重矩阵，即WQ,WK,WV（如果是多个WQ,WK,WV则为多头注意力），与输入x相乘得到向量q,k,v。不同的x对应不同的q,k,v。计算当前x的值时，将当前x的q分别与其他x的k相乘再分别除以k维度的开方。得到的值进行softmax。这样当前的x对每一个x（包含自己）都有一个得分。再将得分与每个x对应的v相乘，再将左右所有乘的结果相加得到

数据的处理：传入：10天的所有数据输出：240条分别存入两个文件

RCNNselective search+CNN+SVM+logistic regression

SGD、momentum、Adgrad、Adam1.SGDGD：使用所有的预测值来计算损失函数的导数SGD：只使用当前值计算损失函数导数，用来规划下降的方向2.momentum参数更新时，不直接使用梯度负方向：使用之前的梯度来规划当前的梯度：3.Adagrad加入了自适应学习率，来规划步长：4.Adam使用一阶动量来更新方向，二阶动量来更新步长：参考链接：https://zhuanlan.zhihu.com/p/32230623...

BP算法主要解决的是神经网络中的调参问题forward pass其中，从输出往前推导的计算为：取决于的定义（类似于sigmoid function）取决于loss function与目标值之间的定义往前的过程为：和乘以一些权重再乘得到以及和乘以一些权重再乘得到 。...

参考文章：https://zhuanlan.zhihu.com/p/70758906

1

w

step1step2step3

gradient descent用来挑选moduel

了解不同module误差的来源，从而来improve这个modulebiasvariance

什么是regression通过之前的数据来预测之后的情况，结果是scalar为什么会用到regression通过机器学习，分析大量的数据，进行预测怎样实现regressionmodelloss

机器学习的学习路线机器学习的主要内容什么是机器学习机器学习类别模型模型=算法+参数上图中算法为加法，W1,W2,...Wn为参数，机器学习的目的就是找到这些参数学习过程Loss用于确定模型的好坏让损失函数最小...

什么是机器学习让机器寻找一个函数，使得能将特定的x（图形，声音）转化为y（个数，yes or no）三种不同的函数（需要机器寻找）regression：进行预测classificaion：进行判断generation：产生文句或图形等三种机器学习的方式supervised learning:具有Labeled Data作为训练资料，用于作为寻找目标函数。最后用loss（失败个数/总个数）来判断寻找的准确性。reinforcement learning:通过不同的尝试，进行自我