dabingsun的博客

参考：https://blog.youkuaiyun.com/u014033218/article/details/88917953

随机森林概念RF使用了CART决策树作为弱学习器，并行的训练出多棵互相独立的树，最后通过投票得出结果，进一步在决策树的训练过程中引入了随机特征选择和样本选择。RF有两个随机采样过程： 行采样：采用有放回的方式，也就是在采样得到的样本集合中，可能有重复的样本 列采样： 从M个feature中，选择m个(m << M)通过样本的随机采样和特征的随机...

BN概念公式训练和预测有什么区别L1:公式为什么可以用来选择特征L2：公式

任务描述给定中文问答对[（question, answer）,标签（label）], 通过构建模型，提升模型的准确率。数据分析数据清洗、分词后，进行统计，如下图可以得到：问题经过处理后最大的词数为37，最小2，平均10。答案经过处理后最大的词数为16892，最小1，平均20。经过统计数据中labels, 正例与负例比例为3：97，数据中等偏严重的数据失衡，但是训练数据有10万个，...

任务描述给定英文句子对[（question1, question1）,标签（label）], 通过构建模型，提升模型的准确率。数据分析(统计)数据清洗、分词后，进行统计。文中正反对比为2：3。不是很失衡模型选择问题相似性任务，首次选用基于孪生Bi-LSTM+cos+对比损失函数，最终train_acc = 85, val_acc=75。loss变化不规则，放弃使用。评估为75.6...

学习率学习率（lr）表示每次更新权重参数的尺度（步长），。Batch_size（批量大小）batch_size有一个计算公式，即, 或者 , N为训练数据集大小， batch为需要多少次迭代才能在一个epoch中训练完整个数据集。batch_size参数决定了完整训练数据集1个epoch需要多少个batch。学习率与batch_size在权重更新中的关系 学习率（lr）直...

loss震荡分析：loss值在一段下降后突然激增，说明训练过程有细节上的问题，应该是在训练时，对权重和偏置的改变量过大所致。或者是在训练过程中，训练方法上有软逻辑错误。(比如大数据集下每跑一个数据进行一次权重偏置更新这种玄学问题)检查训练软逻辑是否有错，尝试逐步减小learning rate，或者使用剃度裁剪或其他巧妙方法控制训练时梯度，避免梯度爆炸的问题。这种loss值上下摆动的情况...

问题描述：搭建网络后，loss一直为NAN排查问题： 调整学习率为0，loss还为NAN---->与学习率无关 模型内关于除、log等可能出现异常的操作，加上 1e-8，loss还为NAN------>基本排除与模型运算有关 排查输入数据，将特征、标签遍历完，未发现异常值与空值 排查导入的词向量模型，发现内部存在大量空值与NAN------&...