Happy祥子的博客

MAXOUT神经网络及实例应用一、maxout 神经网络的介绍Maxout 神经网络 可以理解为单个神经元的拓展，主要是拓展单个神经元里面的激活函数。将激活函数变成一个网络选择器，原理就是将多个神经元并排的放在一起，从他们的输出结果中找到最大的那个，代表对特征相应最敏感，然后取这个神经元的结果参与后面的运算。图1 单个神经元 图 2 maxout神经网络他的公式可以表示为：z1=...

机器学习之降维算法（LDA、PCA）线性判别分析 (Linear Discriminant Analysis)用途：数据预处理中的降维，分类任务**历史：**Ronald A. Fisher在1936年提出了线性判别方法**目标：**LDA关心的是能够最大化类间区分度的坐标轴成分​ 将特征空间（数据集中的多维样本）投影到一个维度更小的 k 维子空间中，同时保持区分类别的信息**原理：...

机器学习中决策树算法树模型决策树：从根节点开始一步步走到叶子节点（决策）所有的数据最终都会落到叶子节点，既可以做分类也可以做回归（这里先讲分类树）假如我们需要对是否玩游戏进行分类，我们有两个特征。如上图所示。决策树的训练与测试训练阶段：从给定的训练集构造出来一棵树（从根节点开始选择特征，如何进行特征切分）测试阶段：根据构造出来的树模型从上到下去走一遍就好了一旦构造好...

1.案例背景数据说明：这一份数据是信用卡的消费使用数据，其中数据涉及到一些隐私的内容，里面的相关数据特征已经经过了处理，我们拿到的数据并不是最原始的数据。我们通过逻辑回归来预测信用卡异常的数据。观察数据代码：import pandas as pdimport numpy as npimport matplotlib.pyplot as pltdata = pd.read_c...

聚类算法与应用通常我们会使用”距离“衡量样本的远近不同的场景：图片检索：图片内容的相似度图片分割：图片的像素、颜色的相似度网页聚类：文本内容的相似度社交网络聚类：关注人群，喜好、喜好内容电商用户聚类：点击、购买商品、行为序列不管用什么样的评定内容，最终都会把样本表示成向量，向量的距离该如何表示？欧氏距离d(x,z)=∣∣x−z∣∣=∑d=1D(xd−zd)2d(x,z...

利用sklearn实现kmeans和DBSCAN算法1.数据说明：import pandas as pdimport numpy as npimport matplotlib.pyplot as plt# 导入相关的数据beer = pd.read_csv('data/cluster_data.txt',sep=' ')print(beer)x = beer[['calorie...

利用 sklearn 实现SVM，及其人脸分类小实例利用sklearn 生成数据import numpy as npimport matplotlib.pyplot as pltfrom scipy import stats# 利用sklearn 随机生成数据from sklearn.datasets.samples_generator import make_blobsx...

支持向量机（Support Vector Machine）要解决的问题：什么样的决策边界才是最好的？特征数据本身如果很难分，怎么办？计算的复杂度怎么样？能实际应用吗？目标：基于上述问题对SVM进行推导三条线都能够做分类，但是那一条线最好呢？决策边界：选出来离雷区最远的（雷区就是边界上的点，要large margin）数学推导过程：这里我们假设x1...

数据说明​ 我们将建立一个逻辑回归模型来预测一个学生是否被大学录取。假设你是一个大学系的管理员，你想根据两次考试的结果来决定每个申请人的录取机会。你有以前的申请人的历史数据，你可以用它作为逻辑回归的训练集。对于每一个培训例子，你有两个考试的申请人的分数和录取决定。为了做到这一点，我们将建立一个分类模型，根据考试成绩估计入学概率。​ 以下截取部分数据34.62365962451697,78.0...

逻辑回归 Logistic regression**目的：**经典的二分类算法机器学习算法选择：先逻辑回归再用复杂的，能简单还是简单的逻辑回顾的决策边界：可以是非线性的Sigmoid 函数：公式：g(z)=11+e−zg(z) = \frac{1}{1+e^{-z}}g(z)=1+e−z1​自变量取值为任意实数，值域为[0,1]解释：将任意的输入映射到[0,1]区间，我...

引入当我们得到一个目标函数后，如何进行求解？直接求解？（不一定可解，线性回归可以当做是一个特例）常规套路：机器学习的套路就是我交给机器一堆数据，然后告诉它什么样的学习方式是对的（目标函数），然后让他朝着这个方向去做。如何优化：每次优化一点点。目标函数：J(θ0,θ1)=12m∑i=0m(hθ(xi)−yi)2J(\theta_0,\theta_1) = \frac{1}{2m}\sum...

机器学习之线性回归算法(一)问题的提出举个例子：数据：工资和年龄（两个特征）目标：预测银行会贷款给我多少钱（标签）考虑：工资和年龄都会影响最终银行贷款的结果，那么他们各自有多大的影响呢？（参数）工资年龄额度400025200008000307000050002835000750033500001200040...