Super_ZLW-优快云博客

原创 csdn博客转到github

由于csdn在某些方面做得不是那么好，就决定趁着现在文章不多的时候迁移到其它地方稳妥一点，花了一个下午加晚上的时间总算基本搭好了，一些小问题之后再慢慢去改善。新博客地址为：SuperZLW’s Blog至于这里，应该也会继续下去，看心情吧。...

2021-08-04 14:28:23 340

原创【ML-2020/21】Generative Adversarial Network (GAN) --- Part-1 基本介绍

目录写在前面的说明基本概念GenerationDiscriminatorGeneration vs. DiscriminatorAlgorithm补充写在前面的说明这个系列【ML-2020/21】大部分是课上内容的简单复述，之前上过但因为笔记写得很乱就忘了很多，所以重来一遍。与其看我这篇，不如直接去看视频，讲得还更生动。视频系列链接→\rightarrow→这里。基本概念Generative Adversarial Network (GAN) 中文名是【生成式对抗网络】，用这个网络的目的是为了让机器

2021-08-03 04:19:15 613

原创深度学习中的正则化

目录引入正则化方法1. 数据增强2. L1/L2L1 / L2L1/L2正则2.1 L1L1L1正则2.2 L2L2L2正则2.3 L1L1L1与L2L2L2的总结比较3. Dropout4. DropConnect5. 早停法（Early stopping）参考网站来源引入与其它机器学习方法类似，DNN在训练过程中也会遇到过拟合的现象，尤其是当参数数量多于输入数据量时。为了防止过拟合现象，除了增加训练样本外，最常见的就是各种正则化方法，比如：数据增强、L1L1L1 正则化、L2L2L2 正则化、Dro

2021-07-31 05:48:06 560

原创【ML-2020/21】CNN & Self-Attention

写在前面的说明这个系列【ML-2021】大部分是课上内容的简单复述，之前上过但因为笔记写得很乱就忘了很多，所以重来一遍。与其看我这篇，不如直接去看视频，讲得还更生动。视频系列链接→\rightarrow→这里。这里介绍两个常见的Network架构，分别为CNN 和 Self-Attention。CNNCNN主要是用来处理图像的，对于Fully Connected Network，每个神经元都要观察整张图片，这明显不是高效率的做法，所以更常见的是让每个神经元处理某一特定的pattern,，比如说就像下

2021-07-28 02:02:09 671

原创非线性优化

目录引入非线性最小二乘问题一阶/ 二阶梯度法一阶（最速下降法，Steepest Method）二阶（牛顿法）方法分析（优缺点）Gauss-NewtonLevenberg_MarquadtG-N 和 L-M的对比引入一个经典的SLAM模型由一个运动方程和一个观测方程构成，如下式所示：xk=f(xk−1,uk)+wkzk,j=h(yj,xk)+vk,j\pmb{x}_k=f(\pmb{x}_{k-1},\pmb{u}_k)+\pmb{w}_k\\\pmb{z}_{k,j}=h(\pmb{y}_j,\pmb{

2021-07-24 08:29:26 274

原创【学习随记】时间空间复杂度

时间复杂度常用的时间复杂度有7种：常数时间复杂度；O(1)O(1)O(1)对数时间复杂度；O(log⁡n)O(\log n)O(logn)线性时间复杂度；O(n)O(n)O(n)平方时间复杂度；O(n2)O(n^2)O(n2)立方时间复杂度；O(n3)O(n^3)O(n3)指数时间复杂度；O(2n)O(2^n)O(2n)阶乘时间复杂度；O(n!)O(n!)O(n!)注：从上到下时间复杂度越来越大常规的时间复杂度都容易分析，麻烦的是递归，遇到递归时一般需要把状态树画出来。比如说代码

2021-07-22 04:49:39 125

原创支持向量机（SVM）

目录引入线性SVM硬间隔最大化软间隔最大化非线性SVM多项式核（Polynomial Kernel）径向基函数（Radial Basis Functions）Mercer's Condition相关补充引入对于上一篇提到的风险（Risk）：R(w)≤Remp(w)+ϵ(N,p∗,h)R(w)\leq R_{emp}(w)+\epsilon(N,p^*,h)R(w)≤Remp(w)+ϵ(N,p∗,h)其中NNN是训练数据量，p∗p^*p∗是到达边界的概率，hhh是VC维度。为了最小化风险，经典的机器学

2021-07-21 22:26:09 1218

原创各种空间的简单介绍

目录相关概念：完备性内积空间度量（距离）空间线性空间赋范空间Banach 空间内积空间Hilbert 空间因为经常遇到各种特定的空间，有些没接触过，有些又容易弄混，这里做个记录，这篇应该会不断更新，毕竟空间概念这么多。（注：这里只是最简单的介绍）先解释相关概念。相关概念：完备性简单说的话，就是对极限封闭。也就是说，如果对于空间SSS内的一点sis_isi，lim⁡i→∞si=s\lim_{i\rightarrow\infty}s_i=slimi→∞si=s，sss也属于空间SSS的话，则称该

2021-07-21 06:42:24 693

原创线性降维与统计学习理论（Linear Dimensionality Reduction & Statistical Learning Theory）

线性降维（Linear Dimensionality Reduction）（以PCA为例）引入主成分分析（Principal Component Analysis，PCA）是最常见的线性降维方法。拿之前的线性回归举例，对于最小二乘法的线性回归，其求解参数为：w^=(X^X^)−1X^y\hat{w}=(\hat{X}\hat{X})^{-1}\hat{X}yw^=(X^X^)−1X^y其中X^∈Rd×n\hat{X}\in \R^{d\times n}X^∈Rd×n，y∈Rn×1y\in \R^{n\

2021-07-18 22:55:45 623 2

原创分类问题（Classification）

目录引入判别函数（Discriminant Functions）基本知识线性判别函数（Linear Discriminant Functions）二分类多分类Fisher 判别分析（Fisher Discriminant Analysis）一个例子用作引出正式开始尝试最大化两个类的均值（效果不好）同时考虑均值和方差（正式引入Fisher线性判别法）感知器算法（Perceptron Algorithm）逻辑回归（Logistic Regression）Generative vs. Discriminative

2021-07-17 18:29:37 2385

原创线性回归（Linear Regression）

目录引入最小二乘法线性回归（Least Squares Linear Regression）一次项回归多项式回归（Polynomial Regression）回归的最大似然法（Maximum Likelihood Approach to Regression）概率回归（Probabilistic Regression）回归中的损失函数（Loss Functions in Regression）贝叶斯线性回归（Bayesian Linear Regression）最大后验（MAP）MAP与正则化的最小二乘法的

2021-07-16 23:33:31 1143 1

原创概率密度估计（Probability Density Estimation）--Part3：混合模型

引入在结束了有参估计，无参估计后，现在记录混合模型（Mixture models）。这里附一张有参和无参的对比图（本来应该附在Part 2的，不想回去改了。。）：字面意思，混合模型就是有参模型和无参模型的混合。举个例子，高斯模型的混合（Mixture of Gaussians，MoG）。现有三个高斯模型如下：我们可以将其视为：其概率密度可以近似表示为：p(x)=∑j=1Mp(x∣j)p(j)p(x)=\sum^M_{j=1}p(x|j)p(j)p(x)=j=1∑Mp(x∣j)p(j)

2021-07-12 06:00:48 1364

原创概率密度估计（Probability Density Estimation）--Part 2：无参估计

目录引入直方图（Histograms）KDEParzen WindowGaussian KernelGeneral Formulation – Arbitrary Kernel各种内核的总结高斯核（Gaussian Kernel）Parzen windowEpanechnikov kernel总结KNN（附）作业相关代码引入接上一篇的有参估计，这篇介绍无参估计，也就是说在这里我们事先不知道数据的模型，而要求数据进行划分，这也是实际中比较常见的情况。这主要介绍三种无参估计方法，分别是：1. 直方图（H

2021-07-01 06:36:54 1574 2

ZLW_学习空间_博客

原创 csdn博客转到github

原创【ML-2020/21】Generative Adversarial Network (GAN) --- Part-1 基本介绍

原创深度学习中的正则化

原创【ML-2020/21】CNN & Self-Attention

原创非线性优化

原创【学习随记】时间空间复杂度

原创支持向量机（SVM）

原创各种空间的简单介绍

原创线性降维与统计学习理论（Linear Dimensionality Reduction & Statistical Learning Theory）

原创分类问题（Classification）

原创线性回归（Linear Regression）

原创概率密度估计（Probability Density Estimation）--Part3：混合模型

原创概率密度估计（Probability Density Estimation）--Part 2：无参估计

原创 MCNemar检测和交叉验证(待完善)

原创概率密度估计（Probability Density Estimation）--Part 1：参数估计

原创李代数求导和扰动模型

原创李群和李代数

原创四元数(三维旋转)

原创学习记录_Computer Vision1_作业1_(2)_Projective Transformation

原创学习记录_Computer Vision1_作业1_(1) Bayer Interpolation

空空如也

空空如也