weixin_40994552的博客

Thera：可能是目前最好的图像超分辨率技术介绍

(1) 超平面是指n维线性空间中维度为n-1的子空间。它可以把线性空间分割成不相交的两部分。比如二维空间中，一条直线是一维的，它把平面分成了两部分；三维空间中，一个平面是二维的，它把空间分成了两部分。(2) 法向量是指垂直于超平面的向量。为 N 维向量，b为标量，表示超平面于原点之间的距离。（垂直于超平面） ，已知超平面中的一点。，需要求它到超平面之间的距离。，对于超平面中的任意一点。

word2vec 有两种方法：CBOW (Continuous Bag-Of-Words) 和 Skip-gramSkip-gram方法就是取句子中固定单词数量（如 5），使用中间单词去预测周围 4 个单词。输入是 one-hot 向量，经过隐层线性层，随后经过softmax层(结果值为正，加起来为 1)输出预测结果。中间的隐藏层权重即为嵌入矩阵embedding matrix，也即查找表。嵌入矩阵的大小为单词总数词向量维度，假如单词总数为 10000，并且隐藏神经元为 300。

参考：ICDM：数据挖掘十大算法

机器学习中在求解非线性优化问题时，常用的是梯度下降法和拟牛顿法，梯度下降法和拟牛顿法都是牛顿法的一种简化牛顿法是在一个初始极小值点做二阶泰勒展开，然后对二阶泰勒展开式求极值点，通过迭代的方式逼近原函数极值点在牛顿法迭代公式中，需要求二阶导数，而梯度下降法将二阶导数简化为一个固定正数方便求解拟牛顿法也是在求解过程中做了一些简化，不用直接求二阶导数矩阵和它的逆

Batch Normalization 对每个特征计算均值和方差，随后归一化。Layer Normalization 对每个样本计算均值和方差，随后归一化。

监督学习中的损失函数1 分类问题1.1 0-1 损失1.2 Hinge 损失函数1.3 Logistic 损失函数1.4 交叉熵2 回归问题2.1 平方损失函数2.2 绝对损失函数2.3 Huber 损失函数参考1 分类问题对于二分类问题，Y = {1, 0}, 我们希望 f(xi,θ)=yif(x_i,θ)=y_if(xi​,θ)=yi​1.1 0-1 损失,最自然的损失函数是 0-1 损失，即可以写为简洁形式，L0−1(f,y)=I(fy<=0)L_{0-1}(f,y)=I(fy&lt

深度学习中的数学-概率论1 随机变量2 概率分布2.1 离散变量2.2 连续变量3 边缘概率4 条件概率4.1 计算公式4.2 条件概率的链式法则5 独立性和条件独立性6 期望、方差和协方差7 常用概率分布7.1 高斯分布参考1 随机变量一个随机变量只是对可能的状态的描述；它必须伴随着一个概率分布来指定每个状态的可能性随机变量可以是离散的或者连续的。离散随机变量拥有有限或者可数无限多的状态。注意这些状态不一定非要是整数；它们也可能只是一些被命名的状态而没有数值。连续随机变量伴随着实数值2 概率分布

深度学习中的数学-线性代数1 矩阵和向量相乘1.1 标准乘积1.2 元素对应乘积2 线性相关和生成子空间3 范数4 特征分解推荐书目参考1 矩阵和向量相乘1.1 标准乘积如果矩阵 A 的形状是 m × n，矩阵 B 的形状是 n × p，那么矩阵C 的形状是 m×p。C=ABC = ABC=AB具体地，该乘法操作定义为Ci,j=/C_{i,j}=/Ci,j​=/可以理解为 A 中第 i 行与 B 中第 j 列的点积1.2 元素对应乘积两个矩阵的标准乘积不是指两个矩阵中对应元素的乘积。不过

PCA的数学原理1 奇异值分解 SVD协方差矩阵2 PCA 原理参考1 奇异值分解 SVD任何 m×nm×nm×n 实矩阵 A, A∈Rm×nA ∈R^{m×n}A∈Rm×n 的奇异值分解一定存在，表示为三个矩阵的乘积：A=UΣVT A=UΣV^\mathsf{T}A=UΣVT其中 U 是 m 阶正交矩阵，V 是 n 阶正交矩阵; Σ 是 m×n 矩形对角矩阵，其对角线元素称为奇异值，值非负，且按降序排列，这种分解方式称为矩阵的完全奇异值分解在实际应用中，SVD 被用来对矩阵做近似表示，也即 UΣ

常见的求导有，标量对标量求导，向量对标量，矩阵对标量，标量对向量，向量对向量，标量对矩阵

scikit-learn 中逻辑斯蒂回归的使用1 二分类2 多分类逻辑斯蒂回归虽然有"回归"两个字，实际上它是一个分类模型，它可以输出属于每一个类别的概率1 二分类import numpy as npfrom sklearn import datasets# 加载 sklearn 自带数据iris = datasets.load_iris()# 取单一特征X = iris["data"][:, 3:] # petal width# 将target变为两类, 标签为 2 的设置为 1,其它

SVM 是一个分类模型，如果训练数据可以完全用一个超平面分开，则称数据集为完全线性可分的，这时可以采用硬间隔最大化建立带约束问题的最优化，此优化为凸二次规划，凸二次规划问题可以通过拉格朗日对偶性转为拉格朗日函数，转而用SMO算法求解；但现实中大部分数据集不满足完全线性可分，也就是有一些数据会分错，这时可以通过一个松弛变量，让问题同样转为凸二次规划问题；但有许多问题就是线性不可分的，这时就需要将输入向量转为更高维的向量，使得向量在高维空间为线性可分，这就要用到核技巧

kernel 的选择首选 linear kernel，在 scikit-learn 中 LinearSVC 比 SVC(kernel=“liner”）然后尝试 rbf

scikit-learn 的设计1 核心API Core API1.1 Estimators1.2 Predictors1.3 Transformers2 高级API Advanced API2.1 Meta-estimators2.2 Pipelines and feature unions3.3 Model selection1 核心API Core API所有 scikit-learn 对象都有三个基本的接口：Estimators， Predictors 和 Transformers1.1 E

数据集下载地址：1 线性回归基本知识1.1 基本概念线性模型公式：????=????????+????线性回归就是通过给定 X，Y 的值，计算模型的梯度m, 以及截距b值上面两幅图都满足线性，如何评价哪条直线更加准确呢？这时就要用到损失函数了，通过最小化损失函数我们能够计算出合理的 m 和 b 的值。线性回归中一般使用均方误差作为损失函数当然 Y 的值可能不止一个自变量决定，看下面相关代码（数据为一份借贷数据）：如果不熟悉 Pandas 的用法可以阅读：import pandas as