<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[puredreammer的博客]]></title><description><![CDATA[好好学习，天天向上]]></description><link>https://blog.youkuaiyun.com/puredreammer</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; puredreammer]]></copyright><item><title><![CDATA[命名实体识别中pytoch的Loss计算]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/108588907</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/108588907</guid><author>puredreammer</author><pubDate>Mon, 14 Sep 2020 21:49:02 +0800</pubDate><description><![CDATA[在命名实体识别里面，BiLSTM模型输出的维度是[batch_size, seqlen, tag_nums]

target 的维度是[batch_size, seqlen]

计算交叉熵损失的时候和文本分类的loss有一丢丢区别。文本分类中的输出是两维的

可以有两种计算方式，两种计算方式是一样的。

1、先对输出进行维度变换成 [batch_size, tag_nums, seqlen]

然后送入nn.CrossEntropyLoss()

2、先把维度拉平成两维，然后送入nn.CrossEntro.]]></description><category></category></item><item><title><![CDATA[ELMO、BERT、ERINE、GPT的李宏毅视频学习笔记]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/98525555</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/98525555</guid><author>puredreammer</author><pubDate>Mon, 05 Aug 2019 22:02:52 +0800</pubDate><description><![CDATA[一、ELMO

ELMO是通过基于RNN来预测词向量的，如下图所示，对于“潮水退了就知道谁没穿裤子”这句话里面的“潮水”这个词，通过正向RNN和逆向RNN都会产生一个词向量，然后把这两个词向量进行加权得到最后的词向量。其中加权的权重参数是从下游任务里面学习到的。





二、BERT

BERT 的训练过程有两种方式，一种是MaskedLM，另外一种是预测下一句话的方法。

1. Maske...]]></description><category></category></item><item><title><![CDATA[Gensim中word2vec和doc2vec的基本用法]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/82709007</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/82709007</guid><author>puredreammer</author><pubDate>Fri, 14 Sep 2018 21:40:54 +0800</pubDate><description><![CDATA[一、 word2vec：


from gensim.models.word2vec import Word2Vec
model = Word2Vec(lines, sg=1, size=100,  window=5,  min_count=5,  negative=3, hs=1)


其中lines是[['中国','国人','有限','限公','公司'],['学生','生幼','条款']]这种...]]></description><category></category></item><item><title><![CDATA[Keras中LSTM参数的含义]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/82708981</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/82708981</guid><author>puredreammer</author><pubDate>Fri, 14 Sep 2018 21:35:03 +0800</pubDate><description><![CDATA[units:是输出的维度。  在下图中，中间的绿色cell 里面有四个黄色小框，每一个小黄框代表一个前馈网络层，对，就是经典的神经网络的结构，num_units就是这个层的隐藏神经元个数，就这么简单。其中1、2、4的激活函数是 sigmoid，第三个的激活函数是 tanh。

参考：https://www.zhihu.com/question/64470274/answer/256379387

...]]></description><category></category></item><item><title><![CDATA[使用tensorflow卷积神经网络实现mnist手写数字识别]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/78395808</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/78395808</guid><author>puredreammer</author><pubDate>Mon, 30 Oct 2017 18:25:42 +0800</pubDate><description><![CDATA[在实现mnist手写数字识别的时候，看了极客网上的例子，自己试着实现了一下，但是期间发现了很多问题。于是就把值得注意的地方写在注释里面了，以供后面查阅温习。
import tensorflow as tf

from  tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("]]></description><category></category></item><item><title><![CDATA[浅谈词嵌入（word embedding）]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/78330821</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/78330821</guid><author>puredreammer</author><pubDate>Tue, 24 Oct 2017 16:09:53 +0800</pubDate><description><![CDATA[今天在李宏毅老师的公开课上学习了word embedding，中文就是词嵌入的意思。故将学习内容整理一下，方便以后回顾。
1. 引入
计算机如何理解一句话，一篇文章的意思呢？计算机是用来做数值运算的，故需要将单词或者词组转换成数字，才能进行存入计算机进行计算机。怎么将文字转化成数字呢？
第一种方法是：one-hot方法
比如说有cat，dog，apple三个词汇。那么就生成一个]]></description><category></category></item><item><title><![CDATA[奇异值分解(SVD)原理与在降维中的应用]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/78329959</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/78329959</guid><author>puredreammer</author><pubDate>Tue, 24 Oct 2017 15:17:49 +0800</pubDate><description><![CDATA[转载自：http://www.cnblogs.com/pinard/p/6251584.html

奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结，并讨论在在PCA降维算法中是如何运用运用]]></description><category></category></item><item><title><![CDATA[用Python的sklearn库进行PCA（主成分分析）]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/52255025</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/52255025</guid><author>puredreammer</author><pubDate>Sat, 20 Aug 2016 00:14:27 +0800</pubDate><description><![CDATA[在python的sklearn的库里面集成很多机器学习算法的库，其中也包括主成分分析的方法。
接下来讲讲怎么在python里面使用pca算法
首先要导入库：
from sklearn.decomposition import PCA

下面是官网上的例子：
>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3]]></description><category></category></item><item><title><![CDATA[Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/50380881</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/50380881</guid><author>puredreammer</author><pubDate>Tue, 22 Dec 2015 16:39:08 +0800</pubDate><description><![CDATA[Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected]]></description><category></category></item><item><title><![CDATA[哈夫曼树的创建以及编码]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/49893457</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/49893457</guid><author>puredreammer</author><pubDate>Tue, 17 Nov 2015 21:22:54 +0800</pubDate><description><![CDATA[在codeblocks下编译运行通过。
#include
#include
#include
typedef struct{
    int weight;
    int parent,lchild,rchild;
}HTNode,*HuffmanTree;
typedef char **HuffmanCode;


int min1(HuffmanTree t,int i)
{//函数VOI]]></description><category></category></item><item><title><![CDATA[二叉树的先序 中序 后序 层次遍历 求叶节点个数、深度、最大元、最小元]]></title><link>https://blog.youkuaiyun.com/puredreammer/article/details/49890377</link><guid>https://blog.youkuaiyun.com/puredreammer/article/details/49890377</guid><author>puredreammer</author><pubDate>Tue, 17 Nov 2015 17:20:42 +0800</pubDate><description><![CDATA[二叉树的常用操作]]></description><category></category></item></channel></rss>