Calm-Cat的博客

title: Mathematic Process of Back Propagation Derivatives in Neural Network date: 2020-04-06 12:25:09 tags: Machine Learning mathjax: true I took several days to try to figure out the process of Bac...

Recently I have some misconception of Logistic Regression so I reviewed it and tried to do some mathematical derivations manually. Generally Speaking In general, suppose we have mmm examples and nnn p...

决策树简介 决策树是一种实现分支策略的层次数据结构。他是一种有效的非参数学习方法，可以用于分类和回归。 非参数学习方法与参数学习方法 参数学习方法：在训练完成所有数据后得到一系列训练参数，然后根据训练参数来预测新样本的值，这时不再依赖之前的训练数据了，参数值是确定的。 而非参数学习方法是：在预测新样本值时候每次都会重新训练数据得到新的参数值，也就是说每次预测新样本都会依赖训练数据集合，所以每次得到...

数学基础 我们先举一个例子。投硬币是一个随机过程，我们不能预测任意一次投币结果是正面还是反面，我们只能谈论其下一次结果是正面或者反面的概率，如果容貌取得一些额外的数据，如硬币的精准成分，硬币的最初位置，投币的力量与方向，硬币的落地点的情况等，投币的准确结果是可以预测的。 因此，我们有如下定义： 我们将不能获取的那些额外的数据称之为不可观测的变量(unobservable variable)。在投币...