<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[init__的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/init__</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; init__]]></copyright><item><title><![CDATA[BERT系列模型总结]]></title><link>https://blog.youkuaiyun.com/init__/article/details/122015664</link><guid>https://blog.youkuaiyun.com/init__/article/details/122015664</guid><author>init__</author><pubDate>Wed, 29 Dec 2021 16:50:53 +0800</pubDate><description><![CDATA[文章目录参考TransformerTransformer-XLBERTXLNET
参考
NLP预训练模型：从transformer到albert
XLNet:运行机制及和Bert的异同比较
从语言模型到Seq2Seq：Transformer如戏，全靠Mask
Transformer
transformer是这些模型的基础，具体的原理+代码的介绍可以看我的博客：Transformer 代码+原理。
Transformer-XL
BERT
XLNET
XLNet: Generalized Autoregress]]></description><category></category></item><item><title><![CDATA[Transformer 代码+原理]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121585137</link><guid>https://blog.youkuaiyun.com/init__/article/details/121585137</guid><author>init__</author><pubDate>Sat, 18 Dec 2021 10:35:27 +0800</pubDate><description><![CDATA[文章目录reference
reference

]]></description><category></category></item><item><title><![CDATA[常用word embedding简介]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121634534</link><guid>https://blog.youkuaiyun.com/init__/article/details/121634534</guid><author>init__</author><pubDate>Thu, 16 Dec 2021 18:06:59 +0800</pubDate><description><![CDATA[文章目录参考word2vec
参考
Negative-Sampling Word-Embedding Method
word2vec

]]></description><category></category></item><item><title><![CDATA[word2vec原理+代码]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121782904</link><guid>https://blog.youkuaiyun.com/init__/article/details/121782904</guid><author>init__</author><pubDate>Wed, 08 Dec 2021 16:02:08 +0800</pubDate><description><![CDATA[文章目录参考word2vec 简单解释提速方法Hierarchical SoftmaxNegative Samplingword2vec提取关键词word2vec keras 版代码
网上关于Word2vec的介绍有很多，由于在graph embedding中word2vec的广泛应用以及打算整理一版word embedding的系列内容，这里把word2vec单独拉开来讲。
关于graph embedding的更多内容：
graph embedding第一篇——deepwalk and line
grap]]></description><category></category></item><item><title><![CDATA[graph embedding在大厂中的应用]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121694521</link><guid>https://blog.youkuaiyun.com/init__/article/details/121694521</guid><author>init__</author><pubDate>Tue, 07 Dec 2021 16:39:17 +0800</pubDate><description><![CDATA[文章目录参考Item2VecAirbnb EmbeddingBillion-scale Commodity Embedding for E-commerce Recommendation in Alibaba
上文链接：
参考
graph embedding
深度学习中不得不学的Graph Embedding方法
Embedding从入门到专家必读的十篇论文
DNN论文分享 - Item2vec
从KDD 2018最佳论文看Airbnb实时搜索排序中的Embedding技巧
Negative-Samplin]]></description><category></category></item><item><title><![CDATA[苹果M1安装sklearn遇到no resource blas found问题的解决方案]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121704966</link><guid>https://blog.youkuaiyun.com/init__/article/details/121704966</guid><author>init__</author><pubDate>Fri, 03 Dec 2021 19:03:47 +0800</pubDate><description><![CDATA[记录一下遇到的坑：

千万不要把x86的全部数据直接迁移到M1。不然miniconda都装不上。
重装系统得到一个干净的环境，就可以简单的安装上miniconda了。
create一个虚拟环境，去装包

conda create -n your_env_name python=3.8.8(其他的也行)
source activate your_env_name


M1系统安装scripy有问题：

brew install openblas
export LDFLAGS="-L/opt/homebrew/]]></description><category></category></item><item><title><![CDATA[graph embedding 第二篇 node2vec and sdne]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121657915</link><guid>https://blog.youkuaiyun.com/init__/article/details/121657915</guid><author>init__</author><pubDate>Fri, 03 Dec 2021 16:27:51 +0800</pubDate><description><![CDATA[文章目录参考前言Node2VecSDNEItem2VecAirbnb EmbeddingBillion-scale Commodity Embedding for E-commerce Recommendation in Alibaba
参考
graph embedding
深度学习中不得不学的Graph Embedding方法
Embedding从入门到专家必读的十篇论文
DNN论文分享 - Item2vec
从KDD 2018最佳论文看Airbnb实时搜索排序中的Embedding技巧
Negative]]></description><category></category></item><item><title><![CDATA[graph embedding第一篇——deepwalk and line]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121606337</link><guid>https://blog.youkuaiyun.com/init__/article/details/121606337</guid><author>init__</author><pubDate>Wed, 01 Dec 2021 17:45:59 +0800</pubDate><description><![CDATA[文章目录参考DeepWalkLineNode2VecSDNEBillion-scale Commodity Embedding for E-commerce Recommendation in Alibaba[Item2Vec] Item2Vec-Neural Item Embedding for Collaborative Filtering[Airbnb Embedding] Real-time Personalization using Embeddings for Search Ranking at]]></description><category></category></item><item><title><![CDATA[Induction Networks for Few-Shot Text Classification]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121585118</link><guid>https://blog.youkuaiyun.com/init__/article/details/121585118</guid><author>init__</author><pubDate>Sun, 28 Nov 2021 21:50:42 +0800</pubDate><description><![CDATA[文章目录reference
reference
一文入门元学习（Meta-Learning）（附代码）
Induction Networks for Few-Shot Text Classification

]]></description><category></category></item><item><title><![CDATA[NER中的一些编码器与解码器]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121405107</link><guid>https://blog.youkuaiyun.com/init__/article/details/121405107</guid><author>init__</author><pubDate>Fri, 19 Nov 2021 23:00:00 +0800</pubDate><description><![CDATA[文章目录编码LR-CNN解码参考
本篇文章是命名实体识别（NER）算法的进一步介绍，主要内容是介绍一些编码器与解码器，作为上一篇内容的补充。
编码
参考自中文NER的正确打开方式: 词汇增强方法总结 (从Lattice LSTM到FLAT)。
关于编码部分，我想更多的介绍一些中文编码的内容。我们知道中文都是对字进行编码的，如果能够将词汇信息加入到其中，能够提供更为丰富的信息。比如在命名实体识别（NER）算法中我们介绍了Lattice LSTM就引入了词汇的信息。
Lattice LSTM中存在一些缺点：

]]></description><category></category></item><item><title><![CDATA[命名实体识别（NER）算法]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121128131</link><guid>https://blog.youkuaiyun.com/init__/article/details/121128131</guid><author>init__</author><pubDate>Mon, 15 Nov 2021 22:15:00 +0800</pubDate><description><![CDATA[参考
最通俗易懂的BILSTM-CRF的CRF层介绍
简明条件随机场CRF介绍 | 附带纯Keras实现
keras实现源码
BERT标注为何不使用CRF

]]></description><category></category></item><item><title><![CDATA[关键词提取——有监督方法]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121065786</link><guid>https://blog.youkuaiyun.com/init__/article/details/121065786</guid><author>init__</author><pubDate>Mon, 01 Nov 2021 22:30:00 +0800</pubDate><description><![CDATA[在上一篇博客中，介绍了关键词提取的无监督方法：点击这里查看文章。本篇主要是介绍关键词提取的有监督方法。

]]></description><category></category></item><item><title><![CDATA[论文阅读笔记： SIFRank and BERT-KPE]]></title><link>https://blog.youkuaiyun.com/init__/article/details/121011012</link><guid>https://blog.youkuaiyun.com/init__/article/details/121011012</guid><author>init__</author><pubDate>Thu, 28 Oct 2021 18:43:25 +0800</pubDate><description><![CDATA[文章目录SIFRank: A New Baseline for Unsupervised Keyphrase Extraction Based on Pre-Trained Language ModelMODEL OVERVIEWSENTENCE EMBEDDING MODEL（SIF）POSITION-BIASED WEIGHT FOR LONG DOCUMENTSCapturing Global Informativeness in Open Domain Keyphrase ExtractionMet]]></description><category></category></item><item><title><![CDATA[结巴分词原理]]></title><link>https://blog.youkuaiyun.com/init__/article/details/120993738</link><guid>https://blog.youkuaiyun.com/init__/article/details/120993738</guid><author>init__</author><pubDate>Wed, 27 Oct 2021 19:33:04 +0800</pubDate><description><![CDATA[文章目录结巴分词简介分词基于前缀词典实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图构造前缀词典构造有向无环图动态规划查找最大概率路径, 找出基于词频的最大切分组合HMM识别未登陆词关键词提取TF-IDFTextRank词性标注参考
在我的上一篇博客概率图模型中，有介绍一些常见的概率图模型。而在日常工作中，结巴分词也是常用的中文分词包，且其中使用了HMM模型，结合概率图模型中的理论知识，可以帮助我们进一步了解HMM算法（当然不仅限于此）。
结巴分词简介
首先，我们通过readme看看结巴]]></description><category></category></item><item><title><![CDATA[概率图模型]]></title><link>https://blog.youkuaiyun.com/init__/article/details/120971112</link><guid>https://blog.youkuaiyun.com/init__/article/details/120971112</guid><author>init__</author><pubDate>Tue, 26 Oct 2021 21:45:00 +0800</pubDate><description><![CDATA[如何根据一些已经观察到的数据（如训练样本）观测出感兴趣的未知变量（如类别）。
概率图模型（probabilistic graphical model）是一类能够用图来表达变量相关关系的概率模型。可分为两类：

使用有向无环图表示变量之间的依赖关系，称为有向图模型或者贝叶斯网（Bayesian network）
使用无向图表示变量之间的相关关系，称为无向图模型或马尔可夫网（Markov network）

EM（Expectation-maximization）算法
EM算法的目的是解决变量中存在“隐变量”（]]></description><category></category></item><item><title><![CDATA[LDA简要介绍]]></title><link>https://blog.youkuaiyun.com/init__/article/details/120872607</link><guid>https://blog.youkuaiyun.com/init__/article/details/120872607</guid><author>init__</author><pubDate>Thu, 21 Oct 2021 16:50:35 +0800</pubDate><description><![CDATA[前情提要
这里只列出与之有关的数学公式，并不做具体的推导与其背后的数学故事。如果感兴趣的朋友可以看看LDA数学八卦，里面有完整的故事背景和数学证明。
gamma函数：
其数学形式为：

如果对其做分部积分，我们有如下性质：

易知：

Dirichlet分布：
其数学形式如下：

对于给定的p⃗\vec pp​和NNN，定义多项分布为：

而上述这两个分布是共轭关系。
Dirichlet 分布的一个性质：

上面的内容不懂也没有关系，只需要在用到的时候过来查阅便好，这里列出只是方便查阅。
吉布斯采样：
这]]></description><category></category></item><item><title><![CDATA[MCMC和Gibbs Sampling]]></title><link>https://blog.youkuaiyun.com/init__/article/details/120881719</link><guid>https://blog.youkuaiyun.com/init__/article/details/120881719</guid><author>init__</author><pubDate>Thu, 21 Oct 2021 14:01:06 +0800</pubDate><description><![CDATA[很多常见的概率分布，都可以用Uniform(0,1)Uniform(0, 1)Uniform(0,1)的样本生成，比如正态分布：

但是，如果某个分布过于复杂，样本的生成就很困难了。于是我们需要更加复杂的随机模拟方法生成样本。MCMC采样和gibbs sampling就是常用的一种。介绍这两个算法前，需要有一些马氏链的基本知识。
马尔科夫链
马尔可夫链又称离散时间马尔可夫链，为状态空间中经过从一个状态到另一个状态转换的随机过程。
该过程要求具有“无记忆”的性质：下一个状态的概率分布只能由当前状态来决定，在时]]></description><category></category></item><item><title><![CDATA[最优化方法小结]]></title><link>https://blog.youkuaiyun.com/init__/article/details/120699862</link><guid>https://blog.youkuaiyun.com/init__/article/details/120699862</guid><author>init__</author><pubDate>Tue, 19 Oct 2021 15:13:25 +0800</pubDate><description><![CDATA[线性搜索方法
梯度下降
牛顿法
置信域方法
启发式算法

]]></description><category></category></item><item><title><![CDATA[启发式算法]]></title><link>https://blog.youkuaiyun.com/init__/article/details/120788329</link><guid>https://blog.youkuaiyun.com/init__/article/details/120788329</guid><author>init__</author><pubDate>Mon, 18 Oct 2021 16:04:48 +0800</pubDate><description><![CDATA[本篇主要介绍一些启发式算法，包括粒子群算法，模拟退火算法，遗传算法。这些启发式的算法也是解决最优化问题的途径之一。
粒子群算法(PSO)
粒子群算法的思想是，粒子群算法是通过模拟鸟群捕食行为设计的一种群智能算法。区域内有大大小小不同的食物源，鸟群的任务是找到最大的食物源（全局最优解），鸟群的任务是找到这个食物源。鸟群在整个搜寻的过程中，通过相互传递各自位置的信息，让其他的鸟知道食物源的位置最终，整个鸟群都能聚集在食物源周围，即我们所说的找到了最优解，问题收敛。
假设pbestp_{best}pbest​是当]]></description><category></category></item><item><title><![CDATA[svm手写推导]]></title><link>https://blog.youkuaiyun.com/init__/article/details/120755457</link><guid>https://blog.youkuaiyun.com/init__/article/details/120755457</guid><author>init__</author><pubDate>Thu, 14 Oct 2021 00:29:36 +0800</pubDate><description><![CDATA[]]></description><category></category></item></channel></rss>