随笔

文章目录1.综述2.理解3.公式3.1 二分类的focal loss公式3.2 多分类下的focal loss公式3.3 二分类到多分类(含代码,代码是根据4.1.1、4.2.1、4.2.3 演变的)3.3.1 二分类3.3.2 多分类4.代码4.1 二分类4.1.1 实现代码14.1.2 实现代码24.2 多分类4.2.1 版本14.2.2 版本1的另一种写法4.2.3 版本24.3 alpha值的确定4.3.1 根据个数确定4.3.2 根据范围确定5.参考1.综述Focal loss主要是为了解决o

1.K近邻算法（KNN）以某个距离度量进行衡量，选出与输入x最近的k个点，然后对k个点进行多数投票，决定输入x的类别，本质上这是一种分类算法， 其关键要素有3个：k值的选择、距离度量以及分类决策的规则（多数投票法）2.朴素贝叶斯（naive bayes）朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法https://baike.baidu.com/item/%E6%9C%B4%E7%B4%A0%E8%B4%9D%E5%8F%B6%E6%96%AF/4925905?fr=aladdin3.L

文本相似度计算复盘参考文献数据集及其评价指标介绍：https://blog.youkuaiyun.com/xixiaoyaoww/article/details/105460175模型评价指标：https://blog.youkuaiyun.com/u010420283/article/details/104994800ROC曲线和AUC面积理解：https://blog.youkuaiyun.com/program_developer/article/details/79946787语义相似度计算的各种指标：https://www

文章目录正则化、归一化、标准化、离散化、白化1.介绍2.L1、L2正则化2.1 为什么参数稀疏一定程度上会避免过拟合？（L1）2.2 为什么参数越小代表模型越可避免过拟合？（L2）2.3 L1使参数稀疏、L2使参数小的原因？3 权重衰减与L2的区别3.1 首先看下权重衰减是什么?3.2 然后L2为什么可以实现权重衰减？4. 学习率衰减5. 权重衰减和学习率衰减考虑正则化、归一化、标准化、离散化、白化https://www.bilibili.com/read/cv107129911.介绍正则化的本质可

文章目录1.文本多类分类2.embedding2.1 离散型2.1.1 one-hot2.1.2 词袋2.1.3 TF-IDF2.1.4 n-gram2.2 分布型2.2.1 共现矩阵1.文本多类分类2.embedding2.1 离散型2.1.1 one-hot2.1.2 词袋2.1.3 TF-IDF2.1.4 n-gramn-gram介绍：https://zhuanlan.zhihu.com/p/32829048https://www.jianshu.com/p/c13b9

文章目录1.信息熵2.交叉熵3.相对熵1.信息熵在信息论中，熵（Entropy）是接收的每条消息中包含的信息的平均量。被称为信息熵、信源熵、平均自信息量。 这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大）。若一个离散随机变量X的可能取值为X={x1,x2,⋯,xn}，而对应的概率为pi=p(X=xi)，则随机变量X的熵定义为：H(X)=−∑i=1np(xi)log⁡p(xi)H(X)=-\sum_{i=1}^{n} p

文章目录1.Knowledge distillation1.1概念1.2知识蒸馏原理为什么有用？1.3知识蒸馏的温度参数？1.4知识蒸馏的种类？1.5知识蒸馏的作用？1.6 知识蒸馏方法1.7online/自监督蒸馏2.label smooth2.1介绍2.2 label smooth + Knowledge distillation2.2.1论文贡献：2.2.2 Label smooth何时有用2.2.3 知识蒸馏与label smooth结合1.Knowledge distillation1.1概念