欢迎使用优快云-markdown编辑器 YFX

YFX ML Algorithm Summary

01 Logistic Regression

1，logistic function or sigmoid function
$s(t)=\frac{1}{1+e^{-t}}$
$Pr(y_i=1|x_i)=s(x_i\beta )$
$Pr(y_i=0|x_i)=1-s(x_i\beta )$

likelihood function:
$L(\beta ;y_i,x_i)=[s(x_i\beta ){]}^{y_i}[1-s(x_i\beta ){]}^{1-y_i}$

$L(\beta ;Y,X)={\Pi }_{i=1}^N[s(x_i\beta ){]}^{y_i}[1-s(x_i\beta ){]}^{1-y_i}$

log-likelihood function:
$l(\beta ;Y,X)={\Sigma }_{i=1}^N[-ln(1+e^{x_i\beta })+y_i{x}_i\beta ]$

MLE:
$\hat{\beta }={\mathrm{argmax}}_{\beta }l(\beta ;Y,X)$
∂ l ∂ β = ∂ { Σ i = 1 N [ − l n ( 1 + e x i β ) + y i x i β ] } ∂ β = Σ i = 1 N [ − x i e x i β 1 + e x i β + y i x i ] = Σ i = 1 N [ y i − s ( x i β ) ] x i = 0 \frac{\partial l}{\partial \beta}=\frac{\partial \{\Sigma_{i=1}^N[-ln(1+e^{x_i\beta})+y_ix_i\beta]\}}{\partial \beta}=\Sigma_{i=1}^N[-\frac{x_ie^{x_i\beta}}{1+e^{x_i\beta}}+y_ix_i]=\Sigma_{i=1}^N[y_i-s(x_i\beta)]x_i=0 ∂β∂l​=∂β∂{Σi=1N​[−ln(1+exi​β)+yi​xi​β]}​=Σi=1N​[−1+exi​βxi​exi​β​+yi​xi​]=Σi=1N​[yi​−s(xi​β)]xi​=0

that is
${\Sigma }_{i=1}^N[y_i-s(x_i\beta )]x_i=0$

since there is no analytical solution, hence using numerical method to solve this problem, e.g. Newton-Raphson-Method,
${\hat{\beta }}_t={\hat{\beta }}_{t-1}+\delta {\underset{Hessian}{\underbrace{[\frac{{\partial }^{2}l({\hat{\beta }}_{t-1};Y,X)}{\partial \beta \partial {\beta }^T}]}}}^{-1}\underset{Score}{\underbrace{\frac{\partial l({\hat{\beta }}_{t-1};Y,X)}{\partial \beta }}}$

02 SVD Decompostion

1, $A_{m\times n}=U\Sigma V^{\top }$, $U_{m\times m},{\Sigma }_{m\times n},V_{n\times n}$
2, $\Sigma$‘s对角线上的值diagnal value is called sigular value奇异值
3, $U^{T}U=I,V^{T}V=I$’
4, $(A^{T}A{)}_{n\times n}$'s eigenvectors composes $V_{n\times n}$

欢迎使用Markdown编辑器写博客

本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：

• Markdown和扩展Markdown简洁的语法
• 代码块高亮
• 图片链接和图片上传
• LaTex数学公式
• UML序列图和流程图
• 离线写博客
• 导入导出Markdown文件
• 丰富的快捷键

---

快捷键

• 加粗 Ctrl + B
• 斜体 Ctrl + I
• 引用 Ctrl + Q
• 插入链接 Ctrl + L
• 插入代码 Ctrl + K
• 插入图片 Ctrl + G
• 提升标题 Ctrl + H
• 有序列表 Ctrl + O
• 无序列表 Ctrl + U
• 横线 Ctrl + R
• 撤销 Ctrl + Z
• 重做 Ctrl + Y

Markdown及扩展

Markdown 是一种轻量级标记语言，它允许人们使用易读易写的纯文本格式编写文档，然后转换成格式丰富的HTML页面。 —— [ 维基百科 ]

使用简单的符号标识不同的标题，将某些文字标记为粗体或者斜体，创建一个链接等，详细语法参考帮助？。

本编辑器支持 Markdown Extra , 　扩展了很多好用的功能。具体请参考Github.

表格

Markdown　Extra　表格语法：

项目	价格
Computer	$1600
Phone	$12
Pipe	$1

可以使用冒号来定义对齐方式：

项目	价格	数量
Computer	1600 元	5
Phone	12 元	12
Pipe	1 元	234

###定义列表

Markdown　Extra　定义列表语法：
项目１
项目２
: 定义 A
: 定义 B

项目３

定义 C

定义 D

定义D内容

代码块

代码块语法遵循标准markdown代码，例如：

@requires_authorization
def somefunc(param1='', param2=0):
    '''A docstring'''
    if param1 > param2: # interesting
        print 'Greater'
    return (param2 - param1 + 1) or None
class SomeClass:
    pass
>>> message = '''interpreter
... prompt'''

###脚注
生成一个脚注¹.

目录

用 [TOC]来生成目录：

数学公式

使用MathJax渲染LaTex 数学公式，详见math.stackexchange.com.

• 行内公式，数学公式为：$\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$。
• 块级公式：

$$x=\frac{-b\pm \sqrt{b^2-4ac}}{2a}$$

更多LaTex语法请参考 这儿.

对于$$a^2+b^2=c^2\text{\hspace{1em}(1.2)}$$由公式$(1.2)$即可得到结论。

UML 图:

可以渲染序列图：

或者流程图：

• 关于 序列图 语法，参考 这儿,
• 关于 流程图 语法，参考 这儿.

离线写博客

即使用户在没有网络的情况下，也可以通过本编辑器离线写博客（直接在曾经使用过的浏览器中输入write.blog.youkuaiyun.com/mdeditor即可。Markdown编辑器使用浏览器离线存储将内容保存在本地。

用户写博客的过程中，内容实时保存在浏览器缓存中，在用户关闭浏览器或者其它异常情况下，内容不会丢失。用户再次打开浏览器时，会显示上次用户正在编辑的没有发表的内容。

博客发表后，本地缓存将被删除。

用户可以选择 把正在写的博客保存到服务器草稿箱，即使换浏览器或者清除缓存，内容也不会丢失。

**注意：**虽然浏览器存储大部分时候都比较可靠，但为了您的数据安全，在联网后，请务必及时发表或者保存到服务器草稿箱。

##浏览器兼容

1. 目前，本编辑器对Chrome浏览器支持最为完整。建议大家使用较新版本的Chrome。
2. IE９以下不支持
3. IE９，１０，１１存在以下问题
   1. 不支持离线功能
   2. IE9不支持文件导入导出
   3. IE10不支持拖拽文件导入

---

---

1. 这里是 脚注 的 内容. ↩︎