熊伟

本想自己总结，结果谷歌到别人写的总结，感觉不错，自己再偷一次懒吧。http://minghao23.com/2019/02/23/VAE/#autoencoderae

优化knn可以用到kd树，网上找到一篇博文写的不错，特意转载过来，来源：k-d tree即k-dimensional tree，常用来作空间划分及近邻搜索，是二叉空间划分树的一个特例。通常，对于维度为kkk，数据点数为N的数据集，k-d tree适用于N≫2kN≫2^kN≫2k的情形。1）k-d tree算法原理k-d tree是每个节点均为k维数值点的二叉树，其上的每个节点代表一个超平面，...

自己练手用的，可能是最简单的了吧，什么都没有封装。# -*- coding:utf-8 -*-import numpy as npx_data = np.array([[1.0, 1.1], [1.0, 1.0], [0, 0], [0, 0.1]])y_data = np.array(['A', 'A', 'B', 'B'])x = np.array([[0, 0]]) # 要分类的...

感知机算是一个比较简单的算法了，原理网上有很多，有原始形式和对偶形式两种，感觉自己比较菜，觉得慢慢从头把新版的李航统计学习方法自己实现一遍，明年就要实习了，慌得一批，这里仅把算法描述和原始形式的简单形式用python实现以下，供自己日后复习：# -*- coding:utf-8 -*-import numpy as np # 感知机学习算法demodata = np.array([[3,...

李航的统计学习方法上写的不是很详细，这个博客写的还可以。图片来源自己尝试把感知机对偶形式的代码写了一下，假设学习率为1，我这个菜鸡，代码能力是真的差，明年就要实习了，得硬着头皮写了：# -*- coding:utf-8 -*-import numpy as np # 感知机对偶形式学习算法demodata = np.array([[3, 3, 1], [4, 3, 1], ...

记得前几天在汇报时，讲到LLE降维算法时，洋洋洒洒讲了一大堆公式推导，之后老师问了一个很实在的问题：什么是流形，当时支支吾吾说了半天，都没说到点上，后来查阅了一些相关资料，现在总结如下。前面那篇文章已经介绍过如何用主成分分析降维——它可以在减少数据集特征的同时，保留数据点间的必要关系。虽然 PCA 是一个灵活、快速且容易解释的算法，但是它对存在非线性关系的数据集的处理效果并不太好，我们将...

为什么要降维简单的一句话概括：现实生活中得到的数据大都是高维数据，然而有时候这些高维数据可能存在某些线性关系，也就是说我们完全可以用较低的维度来表示它，从而可以简化运算。概述如上图，目标是输入一个高维向量xxx，经过一个函数处理得到低维的向量zzz,向量zzz就是我们要的低维向量。特征选择作为一种最简单的降维方式，如上图，所有的点都分布在x2x_2x2​轴上，x1x_1x...

卷积神经网络通常用来处理图像，如果用传统的全连接神经网络，对一张很普通的照片100×100×3，训练时要把它展成1×30000的向量，喂给输入层，假设第一个hidden有1000个neuron，那仅仅针对第一层的neuron就有1000×30000个参数，这么大量的参数经过训练很容易造成过拟合。那CNN要做的事情就是简化网络结构，核心思想就是用较小的参数来处理图像。为什么可以用缩减参数这...

首先需要了解一下链式法则：y=g(x)z=h(y)Δx→Δy→Δz\begin{array}{c}{y=g(x) \quad z=h(y)} \\ {\quad \Delta x \rightarrow \Delta y \rightarrow \Delta z}\end{array}y=g(x)z=h(y)Δx→Δy→Δz​如果我们要求Z对X的导数，很明显是：dzdx=dzdydydx\f...

看到西瓜书上有些东西写的不是特别清楚，结合李航的《统计学习方法》，把软间隔与正则化知识点重新整理了一下。先给出支持向量机的基本形式：min⁡w,b12∥w∥2s.t. yi(wTxi+b)≥1, i=1,2,...,m\begin{aligned}&\min \limits_{w,b} \frac{1}{2} \le...