模型设计
输入的特征设计，添加特征。衍生度量(特征)是将多个特征综合获得的度量(特征)，如基于身高、体重的健康指数，股票的市盈率。
“不加限制地添加特征会令模型变得脆弱，还会令某些模型出现过度拟合。” 少即多。
”模型函数复杂度的提升会导致模型更容易出现过度拟合，而特征数量的增加更加重了这种影响。“
“应该在高效、无须领域知识的黑盒算法和理解所处理问题之间找寻平衡”
扩张或缩减特征。
参数初始化
-
Xaiver
-
MSRA
数值优化
损失函数
One Hot Vector
标签编码方式，一个独热向量经过任何线性变换都不能变化为另一个标签。
平方损失函数
交叉熵（Cross Entropy）损失函数
ℓ ( x , y ) = L = { l 1 , … , l N } ⊤ , l n = − w n [ y n ⋅ log x n + ( 1 − y n ) ⋅ log ( 1 − x n ) ] , \ell(x, y) = L = \{l_1,\dots,l_N\}^\top, \quad l_n = - w_n \left[ y_n \cdot \log x_n + (1 - y_n) \cdot \log (1 - x_n) \right], ℓ(x,y)=L={ l1,…,lN}⊤,ln=−wn[yn⋅logxn+(1−yn)⋅log(1−xn)],
ℓ ( x , y ) = { mean ( L ) , if reduction = ‘mean’; sum ( L ) , if reduction = ‘sum’. \ell(x, y) = \begin{cases} \operatorname{mean}(L), & \text{if reduction} = \text{`mean';}\\ \operatorname{sum}(L), & \text{if reduction} = \text{`sum'.} \end{cases} ℓ(x,y)={ mean(L),sum(L),
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
