- 博客(26)
- 收藏
- 关注
RSS订阅原创 自然语言处理--Word Embedding（词嵌入）--Word2Vec（词向量）算法理论
一 Word2Vec基础 1 one-hot编码（古老的Word Embedding算法模型） 1）概念 one-hot编码主要采用N位状态寄存器来对N位状态编码，并且仅有一个状态编码为1，其他状态编码为0 2）缺点 尽管简单，但是当分词数量过于庞大的时候（如百万级别），会带来维度灾难 2 CBOW（ContinuousBag of Words） 1）核心思想 使用特定分词的...
2020-05-02 13:16:53
2157
原创 机器学习--概率图算法--条件随机场
一 概率无向图 1 概率无向图的概念（三段式描述） 1）大前提 联合概率分布，由无向图表示 注意： ：表示多维随机变量 ：表示无向图中的结点（随机变量） ：表示无向图中的边（随机变量之间的依赖关系） 2）小前提 联合概率分布，满足成对马尔可夫性、局部马尔可夫性、全局马尔可夫性 3）结论 联合概率分布，称为概率无向图（或者称为马尔可夫随机场） 2 概率无向图的成对、局部、全局马...
2020-05-01 19:22:28
771
原创 深度学习--孪生神经网络（Siamese Neural Network）--基础理论
目录 一 解决问题 二 网络架构 三 损失函数（使用contrastive loss处理paired data） 1 当Y=1时 2 当Y=0时 一 解决问题 数据集中类别数较多（即无法确认具体类别数或者类别数很多很多），并且每个类别对应的样本数量较少 注意：人脸识别（验证）属于该种问题 二 网络架构 第一点：拥有两个相同的子神经网络，且权值共享 第二点：属于有监督...
2020-04-30 08:26:45
3467
原创 深度学习--RNN架构（N：M）--Seq2Seq+Attention机制
目录 一 Seq2Seq结构解析 1Seq2Seq是一种Encoder-Decoder结构 2 Encoder（编码阶段：将输入序列压缩成固定长度的语义向量） 方式一：将最后一个隐状态输出进行变换（不变换），作为语义向量（不推荐使用） 方式二：将所有的隐状态输出进行变换，作为语义向量（推荐使用） 3 Decoder（解码阶段：将语义向量生成指定序列） 方式一：将语义向量输入到Dec...
2020-04-29 21:41:53
711
原创 深度学习--生成式对抗网络--DCGAN/WGAN/WGAN-GP/LSGAN/BEGAN算法理论
一 生成式对抗网络基础 1 生成式对抗网络的概念 1）网络属于无监督学习 2）网络中判别器D与生成器G的相互博弈，其纳什均衡为D(G(Z))=0.5 判别器D：是一个二分类器，真实样本期望输出1，生成样本期望输出0 生成器G：将噪音数据尽量生成真实样本分布，以期望判别器D输出1 3）网络的训练阶段分为两个阶段 第一阶段：冻结生成器G，使用真实样本和生成样本训练判别器D 第二阶段：...
2020-04-23 20:37:00
1506
原创 机器学习--相似度/相异度度量--距离公式
目录 一 距离性质 1 非负性 2 同一性 3 对称性 4 三角不等式 二 距离度量公式 1 闵可夫斯基距离 1）曼哈顿距离（城市距离） 2）欧式距离 3）切比雪夫距离 2 标准欧式距离（加权欧式距离） 3 马氏距离 4 夹角余弦距离 5 杰卡德距离 6 皮尔逊距离 7 KL距离与JS距离 1）KL距离（相对熵） 2）JS距离（KL距离的变种） 8 Wasse...
2020-04-23 11:47:32
974
原创 深度学习--递归神经网络--LSTM/GRU算法理论
目录 一 递归神经网络基础 1 递归神经网络与前馈神经网络的联系与区别 1）网络结构 2）输入角度 3）输出角度 2 递归神经网络的架构类别 第一种架构类别：从输入和输出的序列长度角度 1）N：N（最为常见的架构） 2）N：M（Seq2Seq或者Encoder-Decoder模型） 3）1：N（处理如图片标注问题，x是图像特征，y是一个句子） 4）N：1（处理如序列分类问题（...
2020-04-21 15:37:47
2617
原创 深度学习--卷积神经网络--LeNet-5/AlexNet/ZFNet/VGGNet/GoogleNet/ResNet算法理论
一 卷积神经网络基础 注意：CNN主要用于图像分类与物品识别 1 卷积神经网络与传统神经网络的联系 1）降低神经网络的复杂性 卷积核使神经元关注部分区域，从而降低了神经网络的复杂性 2）提升神经网络的深度 LeNet-5、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet等CNN网络的发展，是不断增加深度 第一点：使用更多的非线性获得更好的特征表达，从而更加逼...
2020-04-18 08:15:01
1379
原创 深度学习--神经网络--基础知识
一 神经网络的构成（架构+激活函数+最优参数学习算法） 1 架构 描述神经元的层次以及神经元的连接结构 2 激励/激活函数 1）S型函数（sigmoid函数） 2）SS型函数（tanh函数） 3）ReLU函数家族 3 最优参数学习算法 二 神经网络的分类 1 从神经网络中的神经元的层次 1）浅层神经网络（传统神经网络、全连接神经网络） ...
2020-04-13 19:09:00
674
原创 深度学习--神经网络基础算法--BP/RBF算法理论
目录 一 BP神经网络（隐层层数不做限制） 1 前提 1）神经元的层次为3层（隐层只有一层），神经元的连接结构为全连接形式 2）激活函数使用S型函数 3）权重的学习算法，使用BP算法 2 训练阶段 1）数学符号解释 2）损失函数（采用平方和损失，对单个样本的损失） 3）计算FP 4）计算BP 5）权重更新（使用梯度下降算法） 二 RBF神经网络（径向基神经网络，隐层仅有一层...
2020-04-13 16:22:55
2849
原创 机器学习--概率图算法--主题模型算法理论
一 主题模型基础认知 1 主题模型的概念 第一点：主题模型是生成式模型 一篇文章的每一个词：文档以一定概率选择某个主题，并从这个主题中以一定概率选择某个词 第二点：主题模型的目的 主题模型可以自动分析每个文档，统计文档内词语，根据统计的信息判断当前文档包含哪些主题以及这些主题所占比例大小 2 主题模型的优点 第一点：克服了传统信息检索中文档相似度计算的缺点（如词袋法等忽略语义...
2020-04-09 22:57:14
1120
原创 机器学习--概率图算法--隐马尔科夫算法理论
一 马尔科夫性质与马尔科夫链 1 马尔科夫性质（以三段式描述） 大前提 是一个随机过程，且为其状态空间 小前提 结论（当前状态的条件分布只与上一个状态有关） 注意：满足马尔科夫性质的随机过程，称为马尔科夫过程 2 马尔科夫链 1）概念 马尔科夫链是指具有马尔科夫性质的随机过程，在过程中，给定当前状态下，预测将来的状态与过去的状态无关 2）三要素 要素一：...
2020-04-09 10:02:47
923
原创 机器学习--特征工程问题
注意：特征工程通常占据开发时间的50%+，是一个比较重要的问题 一 数据来源问题（数据收集问题） 1 业务实现需要什么数据 基于业务的理解，尽可能多的找出对因变量有影响的所有自变量数据 2 自变量数据主要来源 1）用户行为日志数据 记录的用户在系统上所有操作所保留的用户行为日志 2）业务数据 比如商品信息、用户信息、商家信息等等 3）第三方数据 爬虫的数据、合作方的数据、购买的...
2020-04-06 22:48:47
998
原创 机器学习--聚类算法（无监督）--高斯混合模型算法理论
一 算法概述 1 算法概念 高斯混合模型（GMM）是指由多个高斯模型线性叠加，描述了数据本身的一种分布情况，其中每个高斯模型称为一个component
2020-04-04 16:17:14
1314
原创 机器学习--最大期望估计算法理论
一 最大似然估计（MLE） 1 概念 已知的样本结果，反推最大可能（最大概率）导致这样本结果的参数 2 流程 第一步：似然函数 第二步：对似然函数求对数 第三步：求导数 第四步：解似然方程 ...
2020-04-04 09:56:57
470
原创 机器学习--分类算法--贝叶斯算法理论
一 朴素贝叶斯算法（不推荐使用） 1 算法核心思想 基于朴素的这一假设，即假设特征之间相互独立 采用贝叶斯公式 2 算法原理 第一步：假定样本，其中表示样本第个特征， 第二步：依据贝叶斯公式 第三步：依据朴素假设 第四步：当样本给定的时候 ，其中表示常数 第五步：预测 3 算法流程 第一步：计算各个类别的概率 第二步：计算给定类别下...
2020-04-03 16:46:44
799
原创 机器学习--分类算法中单标签与多标签的问题
注意：正例记作1，负例记作-1 一 单标签问题（二分类算法进行预测单标签多分类） 1 ovo（one versus one，一对一） 第一步：将k个类别的样本，进行两两类别样本组合，产生个训练数据子集 第二步：使用组合之后的数据子集训练模型，产生个训练模型 第三步：将分类器进行融合，采用多数投票法，产生预测值 2 ovr（one versus rest，一对多） 第一步...
2020-04-02 22:49:02
2921
原创 机器学习--聚类算法（无监督学习）--K-Menas/BIRCH/CURE/DBSCAN/MDCA算法理论
一 聚类算法概述 1 聚类的概念 给定数据集（仅有特征属性，无目标属性），依据样本之间的特征属性，将样本聚类为不同聚簇（簇），从而实现簇内样本相异度低，簇间样本相异度高 2 聚类算法的评价指标 1）轮廓系数（无需目标属性的评价指标） 第一步：簇内不相似度（） 计算当前簇中样本i到簇内所有样本的平均距离，越大代表样本i与当前簇的不相似度越高 第二步：簇间不相似度（） 计算当前...
2020-04-01 22:46:57
1478
原创 机器学习--分类算法--SVM算法理论
目录 一 算法概述 1 点到超平面的几何距离公式 2 算法核心思想 3 算法中几个重要概念 1）线性可分 2）线性不可分 3）间隔 4）划分超平面 5）支持向量 二 算法理论 1 线性可分SVM 1）硬间隔SVM算法流程 2）软间隔SVM算法流程 2 线性不可分SVM 3 SVR 三 SMO算法 一 算法概述 1 点到超平面的几何距离公式 注意：分母为点到...
2020-03-31 22:40:05
1696
原创 机器学习--损失函数常用的凸优化算法
一 无约束条件下损失函数的凸优化算法 1 牛顿法（不推荐使用） 1）函数为可微凸函数，已知某点的函数值，求解该点的的方法 2）算法流程 第一步：令 第二步：计算 第三步：计算 第四步：更新 第五步：重复上述步骤（迭代），直至 2 梯度下降法 1）算法流程 第一步：假定函数，为n元自变量 第二步：初始化 第三步：计算负梯度 ...
2020-03-30 16:19:40
1710
原创 机器学习--分类算法--集成学习算法理论（RF/AdaBoost/GBDT/XGBoost算法）
一 集成学习背景 1 集成学习概念 指将若干个学习器进行组合而得到一个新的学习器 2 集成学习优势 1）弱分类器之间存在差异性的问题 导致分类边界的不同（换言之存在错误），那么将多个弱分类器合并之后，会得到更加合理的分类边界 2）对于数据集过大或者过小的问题 我们可以采用划分或者有放回操作，得到不同的数据子集，分别训练不同的学习器，在组合成一个新的学习器 3）对于数据集的划分边界过...
2020-03-27 22:56:18
1552
原创 机器学习--分类算法--决策树算法理论
目录 一 信息量 1 信息量是指一个事件所蕴含的信息量大小 2 信息量的度量 1）熵 相关公式 熵的性质 2）基尼系数 基尼系数的相关公式 基尼系数的性质 3）错误率 二 算法原理 1 决策树构造关键是选择特征属性以及分裂特征属性（树结构） 2 决策树构建过程是一种递归过程，所以必须给定停止条件，否则过程不会停止 三 算法评价标准 1 方式一 分类算法常用的混淆矩阵 ...
2020-03-26 15:45:21
591
原创 机器学习--分类算法--KNN算法理论
1 KNN算法原理 从训练集中获取K个离待预测样本最近的数据样本 根据获取得到的K个样本数据预测当前待预测样本的目标属性（分类与回归的目标属性） 2 KNN算法中最重要的三个影响因素 1）K值的选择 一般而言，依据样本分布选择一组K值，通过交叉验证的方式，选择合适的K值 2）距离的度量 一般采用欧式距离 3）决策规则 针对分类问题，采用多数表决法或者加权多数表决法 针对回归问题，...
2020-03-25 10:38:15
389
原创 机器学习--分类算法--softmax回归算法理论
本篇内容参考《百面机器学习》《统计学习方法》 第一部分 理论概述 1 Softmax回归是Logistc回归的一般化，适用于k分类问题，针对每个类别都有一个参数向量从而组成一个参数矩阵 2 Softmax函数本质上就是将k维度实数向量压缩成另一个k维实数向量，其中每个维度取值范围是(0,1) 第二部分 理论模型 1 模型前提 1）对于数据集而言，目标属性y具有k个类别（y=1,2...
2020-03-24 15:43:45
565
原创 机器学习--分类算法--Logistc回归算法理论
本篇内容参考《百面机器学习》《统计学习方法》 第一部分 理论概述 1 Logistic回归相比于线性回归而言，二者有何异同 1）区别 Logistic回归处理分类问题 线性回归处理回归问题 2）相同 是有监督学习，采用极大似然估计函数建模，使用梯度下降方法求解 2 Logistic回归采用Sigmoid函数作为伯努利分布分布律 引入odd思想：即一个事件发生概率与不发生概率的比值比 ...
2020-03-24 11:26:26
369
原创 机器学习--回归算法--线性回归算法理论
第一部分：导言 阅读本章节，需要一定的数理统计基础 第二部分：干货 1 模型前提 1）线性模型： （，截距以包含在内） 注意：，，均为随机变量，为系数，且满足独立同分布 2） 3）极大似然原理：假设一场试验中，发生A结果，并未发生B结果或者其他结果，那么说明该试验对A有利，进而数学上可以表达为，其中为有利于A的条件 2 建立模型 3 模型问题 ,要求可逆，如何解...
2020-03-20 21:42:27
1288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人