u011048251的博客

Logistic Regression的本质不是MLE嘛LR的一个很大的缺点就是单个training example的likelihood可能很小，cost可能会很大，这样的话，单个training example可能会对整体造成很大的影响对于与sigmoid函数就是说，这个函数的下限约等于0，取-log后会是一个很大的正数，所以一个改进的思路就是认为地把x = sigmo

感觉一个很有意思的问题，对于逻辑回归来说，在进行gradient descent时，是可以通过矩阵求导的方式来做的，但需要注意的是，假设X（比如100*1）是一个列向量，我们感兴趣的是sigmoid(X)（也是100*1）对X的倒数，所以这里会得到一个100*100的矩阵，但仅在对角线上有值，其他均为0。所以，当我把逻辑回归延伸到神经网络时，会觉得很奇怪，因为，对于course

玩机器学习的人基本功，就不解释了，BP的核心思想是cost对z和a求导，然后利用链式求导法则从后往前推，然后利用这些中间变量求对theta的导数（也就是梯度）。。。。写的累死了，顺便晒下薄扶林政治学院的Main Building

本人的其他博客中提到了可以用矩阵求导的方法来运算，然后这里简单讲下。对于线性回归，矩阵求导很简单的啦，直接贴Ng老师的课件吧其实感觉挺巧的，虽然这里Ng老师给出来一个很完美的式子，一步就把gradient矩阵写出来了，但问题就是没把问题解释明白，换了个式子，以我这种人的智商，肯定要懵逼的。所以我给出一个更加具有一般性的证明，虽然最后的结果是一样的。

感觉很奇怪，系统过滤到底是应该把它理解成一个“线性回归”的问题还是一个“逻辑回归”（或者softmax）的问题？按照吴恩达在Coursera上的课程介绍来说，显然是一个“线性回归”问题，因为在定义cost function时，我们采用的是二分之一平方差（顺便说下这里时latent factor model）所以，当我重新审视这个问题时，我就开始思考，协同过滤的cost fu

趁着老大出差，在工位上写点以前想的东西。 当我们用传统的统计机器学习方法处理问题时，我们需要定义一个cost function以衡量模型的好坏。但在实际场景中，我们的这个cost function的泛化性能未必好，所以，in the process of data mining，我们一直想做的事情就是如何找到一个更好的cost function。 Regularization这是就出现了，