handsomeman20的专栏

Bert 原理 模型介绍 代码实践 bert 原理 Bert的全名是Bidirectional Encoder Representations from Transformers，其主要结构是Transformer的encoder层，其包括两个训练阶段，预训练与fine-tuning BERT_BASE (L=12, H=768, A=12, Total Parameters=110M) BERT_LARGE (L=24, H=1024, A=16, Total Parameters=340M). ht

概览： 1.doc2vec 训练句子向量 2.word2vec训练词向量 3.kmeans/dbscan训练句子聚类 4.tfidf寻找关键信息。 5.LDA主题文本聚类 组合使用： doc2vec+tfidf+kmeans 先从doc2vec谈起来： 1.文本分词 jieba/hanlp 2.建立分词和下标id ##words_list =['aaa',...