TomoyaZhang-优快云博客

原创逻辑回归模型

逻辑回归（Logistic Regression，简称LR）是最常见的一种分类模型。这里简单介绍下其推导过程。设有训练数据(x1,y1),(x2,y2),...,,(xm,ym){(x^1, y^1), (x^2, y^2), ..., , (x^m, y^m)}其中 xix^i为特征（feature），是一个n维向量(xi1,xi2,...,xin)(x^i_1, x^i_2, ..., x

2015-09-19 13:23:20 613

原创 09. 正交概念

向量正交正交意味着垂直，设向量x与向量y正交根据勾股定理，有如下推导 ||x||2+||y||2xTx+yTyxTx+yTyxTy=||x+y||2=(x+y)T(x+y)=xTx+yTy+2xTy=0\begin{align}||x||^2 + ||y||^2 &= ||x+y||^2 \\x^Tx+y^Ty &=(x+y)^T(x+y) \\x^Tx+y^Ty &= x^Tx + y

2015-03-08 12:26:30 937

原创 08. 矩阵的四个基本子空间

四个子空间的符号表示设有矩阵A，设矩阵的秩为r 四个子空间如下列空间C(A)C(A)行空间C(AT)C(A^T)零空间N(A)N(A)左零空间N(AT)N(A^T)列空间我们已经很熟悉列空间了我们可以很容易地找到列空间的一个基矩阵的所有主列就是一个基向量所以列空间的基有r个基向量，列空间的维数等于秩r 结论1：列空间维数等于秩行空间对于矩阵A，其行最简形式R的前r行就是矩阵

2015-03-01 23:37:02 1310

原创 07. 线性相关、基、维数

线性相关对n个向量v1,v2,...,vnv_1,v_2,...,v_n 若其存在一个非0的线性组合能得到零向量，则为线性相关，否则为线性无关。另一种描述：将每个向量作为一个矩阵的列向量，得到一个矩阵 [v1v2⋯vn]\begin{bmatrix}v_1 & v_2 & \cdots & v_n\end{bmatrix} 若该矩阵的零空间存在一个非0向量，则这n个向量是线性相关的，否

2015-02-24 16:28:40 900

原创 06. 解空间

定义解空间意为Ax=bAx = b的所有解的集合求解设 A=⎡⎣⎢1232462682810⎤⎦⎥b=⎡⎣⎢b1b2b3⎤⎦⎥A = \begin{bmatrix} 1 & 2 & 2 & 2 \\ 2 & 4 & 6 & 8 \\ 3 & 6 & 8 & 10 \\ \end{bmatrix} \quad b = \begin{bmatrix}b_1 \\ b_2 \\b_3\e

2015-02-24 10:55:21 1832

向量空间设向量集合D，所有元素的任意线性组合仍属于D，则称D为向量空间。子空间向量空间内的一个向量集合，其中所有元素都属于母空间，但自身又构成一个向量空间。比如，设向量空间R3R^3，任意一个包含原点的平面构成一个子空间。性质：任意两个子空间的交集构成一个子空间证明：设子空间P和L，对于其交集P∩LP\cap L交集中的任意向量都属于P，所以其任意向量的线性组合都属于P交集中的任意向量都属于L，所以

2015-02-23 16:34:49 1350

原创 04. 零空间

零空间定义线性方程组Ax=0Ax = 0的所有解x的集合称为矩阵A的零空间零空间求解设 A=⎡⎣⎢1 2 32462682810⎤⎦⎥A = \begin{bmatrix}1 & 2 & 2 & 2\\\ 2 & 4 & 6 & 8 \\\ 3 & 6 & 8 & 10 \end{bmatrix}求 x=⎡⎣⎢⎢⎢x1x2x3x4⎤⎦⎥⎥⎥x = \begin{bmatrix}x_1\\ x_2

2015-02-23 16:22:36 637

原创 03. 矩阵的逆

可逆矩阵设矩阵A可逆，其逆矩阵用A−1A^{-1}表示,以下均讨论方阵则有性质 AA−1=I\begin{align}AA^{-1}= I\end{align} I为单位矩阵首先说下什么情况是不可逆的设 A=[1 236]\begin{align}A = \begin{bmatrix}1 & 3 \\\ 2 & 6\end{bmatrix}\end{align} 这是一个不可

2015-02-23 16:07:33 584

原创 02. 高斯消元

消元考虑一个求解线性方程组问题，直接用矩阵表示 ⎡⎣⎢1 3 0284111⎤⎦⎥⎡⎣⎢x y z⎤⎦⎥=⎡⎣⎢2 12 2⎤⎦⎥\begin{bmatrix}1 & 2 & 1 \\\ 3 & 8 & 1 \\\0 & 4 & 1\end{bmatrix} \begin{bmatrix}x \\\ y \\\ z \end{bmatrix} = \begin{bmatrix}2 \\

2015-02-23 16:03:33 365

原创 01. 矩阵乘法

定义考虑一个矩阵乘法问题 A∗B=CA * B = C 设A为m行n列的矩阵，B为n行p列的矩阵，那么C为m行p列的矩阵设Ci,jC_{i,j}为矩阵C的i行j列的元素，用AiA_i表示A的第i行所代表的向量，用BjB_j表示B的第j列所代表的向量,则 Ci,j=Ai∗BjC_{i,j} = A_i * B_j 上式中的乘号代表向量内积比如 A=[1 221]Ｂ=[5 321]

2015-02-23 16:00:25 950

愿いが叶う场所