<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ownfed的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ownfed</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ownfed]]></copyright><item><title><![CDATA[logistic函数，sigma函数性质]]></title><link>https://blog.youkuaiyun.com/ownfed/article/details/41209579</link><guid>https://blog.youkuaiyun.com/ownfed/article/details/41209579</guid><author>ownfed</author><pubDate>Mon, 17 Nov 2014 15:01:50 +0800</pubDate><description><![CDATA[性质：
（1）g（-z）=1-g（z）
（2）g' = g(1-g)=g（z）*g（-z）
（3）几率：



因为：
ln(g / 1-g) = z; 
可见符合sigma的概率分布的几率是‘线性’


（4）一个事件发生的概率可以用其‘机率的logistic函数表示’




******************************************]]></description><category></category></item><item><title><![CDATA[牛顿法和拟牛顿法]]></title><link>https://blog.youkuaiyun.com/ownfed/article/details/41208735</link><guid>https://blog.youkuaiyun.com/ownfed/article/details/41208735</guid><author>ownfed</author><pubDate>Mon, 17 Nov 2014 14:17:50 +0800</pubDate><description><![CDATA[一。两种方法本质：
和梯度下降法的本质一样都是为了找到一个合适的最快的下降方向，然后以一定步长一步一步走到极值点




二。牛顿法：


1、传统牛顿法（数学中）



2、传统牛顿法在机器学习的推广：
机器学习中需要做的是，参考‘回归分析’


求J在参数向量为自变量的最小值

注意，上面需要重复若干次直到两次的参数相差不大




3、传统牛顿]]></description><category></category></item><item><title><![CDATA[用最直白的方式来解释‘批梯度下降’和‘随机梯度下降’]]></title><link>https://blog.youkuaiyun.com/ownfed/article/details/41208425</link><guid>https://blog.youkuaiyun.com/ownfed/article/details/41208425</guid><author>ownfed</author><pubDate>Mon, 17 Nov 2014 14:00:34 +0800</pubDate><description><![CDATA[我们需要求最优值的函数是：
其中




一。理解批梯度：
1、求J梯度（梯度是向量，每个坐标是J对其取偏导，所以可以认为梯度向量是J对向量求偏导）：
梯度向量G————过程推导比较简单，省略
右侧表达式是一个向量（x本身是特征向量，括号中是一个数，加和m还是一个向量）
可见每一组都可以求一个梯度



*********************************]]></description><category></category></item><item><title><![CDATA[非参数估计]]></title><link>https://blog.youkuaiyun.com/ownfed/article/details/41205579</link><guid>https://blog.youkuaiyun.com/ownfed/article/details/41205579</guid><author>ownfed</author><pubDate>Mon, 17 Nov 2014 10:37:24 +0800</pubDate><description><![CDATA[一。特点：
1、不需要用表达式来表示总体的概率密度，然后估计这表达式里的未知数，而是直接用样本来估计这个总体概率密度




二。分类：

（1）parzen窗（核密度估计 kernel density estimate KDE），注意，虽然叫‘核密度’，但是使用的是‘窗函数’而不是核函数，一般认为核函数的作用参见‘核函数、mercer条件’
（2）k近邻
（3）神经网络
]]></description><category></category></item><item><title><![CDATA[参数估计]]></title><link>https://blog.youkuaiyun.com/ownfed/article/details/41205115</link><guid>https://blog.youkuaiyun.com/ownfed/article/details/41205115</guid><author>ownfed</author><pubDate>Mon, 17 Nov 2014 10:13:19 +0800</pubDate><description><![CDATA[一。特点：
1、需要估计的整体概率密度可以使用一个‘表达式’（里面含有未知参数）表示，则参数估计的目的就是估计表达式的这些未知参数
2、




二。分类：



点估计：
（1）矩估计

（2）极大似然估计
（3）贝叶斯估计


区间估计：相当于得到两次点估计，一个为下界，一个为上界，由此构成一个区间




三。点估计：
1、矩估计：


]]></description><category></category></item><item><title><![CDATA[各种回归全解：传统回归、逻辑回归、加权回归/核回归、岭回归、广义线性模型/指数族]]></title><link>https://blog.youkuaiyun.com/ownfed/article/details/41181665</link><guid>https://blog.youkuaiyun.com/ownfed/article/details/41181665</guid><author>ownfed</author><pubDate>Sun, 16 Nov 2014 22:46:09 +0800</pubDate><description><![CDATA[一。前言：
1、回归分析有两类用途：1、拟合预测。2、分类
2、一些标记：
x为输入的特征向量组，每个特征向量为n维（表示有n个特征）
y为特征向量对应的类别
对于训练样本来说：


表示第i个样本（x，y），i=1……m（表示一共m个训练样本）
表示第i个特征向量的第1、2个特征值

为‘回归拟合系数’，所以对应x的维度，为n维



二。传统的线性回归（只能做拟合]]></description><category></category></item><item><title><![CDATA[越研究这个领域，越觉得一个人伟大，补上一篇迟来的悼文]]></title><link>https://blog.youkuaiyun.com/ownfed/article/details/41148483</link><guid>https://blog.youkuaiyun.com/ownfed/article/details/41148483</guid><author>ownfed</author><pubDate>Sat, 15 Nov 2014 18:59:32 +0800</pubDate><description><![CDATA[因为第一次买智能机，所以开始涉猎这个行业，1月有余，我竟然没喜欢上任何一款，相反，却渐渐地迷恋上了一个人——史蒂芬·乔布斯




活这么大，经历很多改变世界的变化，但是只有这一次，是全部只和一个人有关，这一点非常奇妙，这是一个现实版的个人英雄主义，而事实是，乔布斯比英雄更了不起，乔布斯确实改变了世界，这一点毫无疑问，但是他是如何改变世界的呢，是他创造了一个新东西，然后变成了人们的习惯，]]></description><category></category></item></channel></rss>