fasttext

最新推荐文章于 2025-04-08 16:23:55 发布

攀攀的跟屁虫

最新推荐文章于 2025-04-08 16:23:55 发布

阅读量215

点赞数 1

分类专栏：自然语言处理

本文链接：https://blog.youkuaiyun.com/qq_20849045/article/details/105641063

版权

自然语言处理专栏收录该内容

15 篇文章

订阅专栏

本文探讨了FastText这一高效文本分类模型，其结构简洁且运算速度快，适用于多种任务，准确率甚至超过复杂模型如RNN和Transformer。文章解析了FastText的网络处理流程，包括关键代码实现，以及使用nce损失函数的独特训练方式。论文还提到了分层softmax和ngram两项技巧，这些因素共同造就了FastText的高效与精准。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这是一个结构很简单的网络（见图１），速度非常快，在某些任务上准确率会比rnn\transformer等还要好。有没有谁能告诉我为什么简单但却有效呢？

关键代码也是超级简单

sentence_embeddings = tf.nn.embedding_lookup(self.Embedding,self.sentence) #参考的代码中self.Embedding是随机初始化的，应该也可以用预训练的词向量进行初始化吧
self.sentence_embeddings = tf.reduce_mean(sentence_embeddings, axis=1)
self.W = tf.get_variable("W", [self.embed_size, self.label_size])
self.b = tf.get_variable("b", [self.label_size])
logits = tf.matmul(self.sentence_embeddings, self.W) + self.b

训练时的损失函数比较特别，用的是语言模型常用的损失函数nce损失：

loss = tf.reduce_mean( 
                tf.nn.nce_loss(weights=tf.transpose(self.W), 
                               biases=self.b,                 
                               labels=labels,                 
                               inputs=self.sentence_embeddings,
                               num_sampled=self.num_sampled,  
                               num_classes=self.label_size,partition_strategy="div"))

论文里面还提到两个trick一个是分层softmax　一个是ngram。