Leiroy的博客

如何调参：batchsize要合适epoch要合适，观察收敛情况，防止过拟合是否添加batch nomaldropout是否需要激活函数选择：除了gate之类的地方,需要把输出限制成0-1之外,尽量不要用sigmoid,可以用tanh或者relu之类的激活函数.1. sigmoid函数在-4到4的区间里，才有较大的梯度。之外的区间，梯度接近0，很容易造成梯度消失问题。2. 输入0均值，sigmoid函数的输出不是0均值的。损失函数一轮加正则，一轮不加正则优化器的选择

Knn，Kmeans和GMMKNN分类算法监督学习K值含义 - 对于一个样本X，要给它分类，首先从数据集中，在X附近找离它最近的K个数据点，将它划分为归属于类别最多的一类。问题： KNN算法的核心是寻找待测样本在训练样本集中的k个近邻，如果训练样本集过大，则传统的遍历全样本寻找k近邻的方式将导致性能的急剧下降。改进:1.kd-treekd-tree以空间换时间，**利用训练样本集中的样本点，沿各维度依次对k维空间进行划分，建立二叉树，**利用分治思想大大提高算法搜索效率。我们知

激活函数：意义：增加网络的非线性建模能力，如果没有激活函数，那么该网络仅能够表达线性映射，即便有再多的隐藏层，其整个网络跟单层神经网络也是等价需要具备的特点：1.连续可导。2，尽可能简单，提高网络计算效率。3，值域在合适区间内，否则影响训练效率和稳定性。饱和激活函数：Sigmoid、Tanh。非饱和激活函数：ReLu。还有输出层(分类器)的softmax激活函数的选择：在隐藏层ReLu>Tanh>Sigmoid 。RNN中：Tanh，Sigmoid。输出层：softmax

.评价指标常用指标（分类和回归）：准确率：Accuracy=(TP+TN)/(TP+FP+TN+FN)精确率（查准）Precision=TP/(TP+FP)，召回率（查全）Recall=TP/(TP+FN)F1 score（Fx 分数，x为召回率和精确率的比值）F1 score=2·Precision·Recall/(Precision+Recall)综合考量，召回率Recall和精确率Precision的调和平均，只有在召回率Recall和精确率Precision都高的情况下，F

transformer动机：RNN特点：给你一个序列，计算是从左往右一步一步往前的。对句子来说，就是一个词一个词的看，对第t个词会计算一个ht,也叫做他的隐藏状态，是由前一个词的ht-1和 当前第t个词本身决定的。这样就可以把之前学习到的历史信息通过ht-1放到当下，然后和当前的词做一些计算然后得到输出.问题：因为是时序传递，导致1. 难以并行2.早期的学习到的信息会丢掉，如果不想丢掉，那可能就要做一个很大的ht，但是如多做一个很大的ht，每一个时间都要保存下来，导致内存的开销是比较大的。

索引算法树索引1.kd-treeKNN算法的核心是寻找待测样本在训练样本集中的k个近邻，如果训练样本集过大，则传统的遍历全样本寻找k近邻的方式将导致性能的急剧下降。kd-tree以空间换时间，**利用训练样本集中的样本点，沿各维度依次对k维空间进行划分，建立二叉树，**利用分治思想大大提高算法搜索效率。我们知道，二分查找的算法复杂度是[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uGjdwiNq-1649642189635)(https://math.ji