walkeao-优快云博客

原创 Doc2Vec模型介绍及使用

Doc2Vec模型Doc2Vec模型摘要背景段落向量PV-DM模型PV-DBOW模型gensim实现Doc2Vec说明参考文献摘要通过本文，你将了解到：Doc2Vec模型是如何产生的Doc2Vec模型细节Doc2Vec模型的特点Doc2Vec的使用及代码(gensim)背景 Doc2Vec模型的产生要从词向量表示(论文word2vec模型)开始说起，该文章介绍了两种词的向

2018-01-07 16:35:31 15300

原创 Sentence2Vec模型介绍

Sentence2VecSentence2Vec前言算法介绍参考文献前言本文是对论文A Simple but Tough-to-Beat Baseline for Sentence Embeddings中算法的简要描述，具体细节请参考代码实现。算法介绍 1. 对一个句子中所有词的词向量进行加权平均，每个词向量的权重可以表示为aa+p(w)\frac{a}{a+p(w)}，其中aa为参数，

2018-01-04 20:03:56 12768 5

原创 Word2Vec

Word2Vec-01Word2Vec-01Skip-gram模型模型介绍层级softmax负采样subsample参考文献Skip-gram模型模型介绍给定词序列w1,w2,...,wi−c,...,wi−1,wi,wi+1...,wi+c,...,wTw_1,w_2,...,w_{i-c},...,w_{i-1},w_i,w_{i+1}...,w_{i+c},...,w_T：sk

2018-01-03 09:50:45 791

原创隐马尔可夫模型(HMM)

隐马尔可夫模型(HMM) 隐马尔可夫模型HMM白话HMM深入HMM前言三个要素两个假设三个基本问题概率计算算法直接计算法前向算法后向算法小结学习算法监督学习算法无监督-EM算法求解预测算法参考白话HMM HMM定义：隐马尔科夫模型是关于时序的概率模型，描述由一个隐藏的马尔科夫链随机生成不可观测的状态随机序列(状态序列)，再由各个状态生成一个观测而产生观测随机序

2017-12-18 14:01:33 908

原创 EM算法在高斯混合模型中的应用

高斯混合模型GMM 高斯混合模型GMM高斯混合模型定义GMM参数估计的EM算法明确隐变量写完全数据对数似然函数EM算法的E步EM算法的M步参考注：该文章与《统计学习方法》by 李航中的章节大致相同。回顾EM算法的可以参考EM算法高斯混合模型定义高斯混合模型是指具有如下形式的概率分布模型： P(y|θ)=∑k=1KαkΦ(y|θk)(1)P(y|\theta)=\

2017-12-17 14:46:16 816

原创 EM算法

EM算法 EM算法EM算法为什么使用EM两个事实EM算法过程三个问题EM算法的导出EM算法收敛性证明参考本文中，若无特殊说明，使用 Y,yY,y 表示观测变量，使用 Z,zZ,z 表示隐藏变量，θ\theta 表示模型参数。EM算法为什么使用EM? 概率模型有时既包含观测变量，也包含隐变量(或潜在变量)。如果模型只包含观测变量，则我们可以通过最大化对数似然 l(θ

2017-12-17 10:31:02 1001

原创数学之美~阅读

数学之美目录数学之美目录统计语言模型谈谈中文分词隐马尔科夫在语言处理中的应用怎样度量信息布尔代数和搜索引擎的索引图论和网络爬虫信息论在信息处理中的应用贾里尼克的故事和现代语言处理如何确定网页和查询的相关性有限状态机和地址识别Google的阿卡47制造者阿米特辛格博士余弦定理和新闻分类信息指纹及其应用谈谈数学模型的重要性繁与简自然语言处理的几位精英不要把所有的

2017-12-15 18:29:02 3221

原创 SLIM模型

SLIM: Sparse Linear Methods (TopN推荐) 本文摘要： SLIM 模型介绍 SLIM 模型优势和劣势目录 SLIM Sparse Linear Methods TopN推荐目录SLIM 模型模型表示模型学习过程特点参考SLIM 模型模型表示基本模型表示： M∼MS\boldsymbol M \boldsymbol

2017-12-12 10:36:46 3895 2

walkeao的博客