liuqiang3的博客

self-attetion双线性池化模型集成模型级联困难样本挖掘深度监督？

最近在研究focal_loss时发现各种交叉熵损失函数写的形式都不一样，总结一下，以防以后使用．首先sigmoid与softmax激活函数联系与区别：sigmoid激活函数：p(x)=11+exp(x) = \frac{1}{1+e^x}p(x)=1+ex1​softmax激活函数：p(xi)=exi∑j=1nexjp(x_i) =\frac{e^{x_i}}{\sum_{j=1}...

假设类条件概率符合某种确定的概率分布形式在估计参数时频率学派认为：参数虽然未知，但具有客观存在的固定值贝叶斯学派认为的：参数计算是未观察到的随机变量，其本身也可有分布。可假设参数服从一个先验分布，然后根据观察到的数据来计算参数的后验分布。先验概率：由因推果后验概率：由果推因周志华 机器学习 p149...

PCA共有两个优化目标，1，不同特征间协方差最小使得不同特征尽量不相关，，2使得方差最大：降维后同类特征更加离散，而数据协方差矩阵中对角线元素代表同种特征之间的方差，除对角线元素外，其他元素代表不同元素之间的协方差。...

真正理解拉格朗日乘子法和 KKT 条件

kaggle竞赛解决问题github多看kaggle竞赛报告学习可以学到很多处理问题的小技巧第一步：处理分析数据第二步：选择基准模型第三步：数据预处理例如（1.处理样本不平均问题，例如＇SMOTE＇，＇ADASYN＇，＇easy emsenble＇2.进行数据扩展）第四步：进一步提升结果(如学习率的选择，损失函数的选择模型集成（如snapshot ensembling）使用不同...