lty_sky的专栏

本篇文章主要是解读模型主体代码modeling.py。在阅读这篇文章之前希望读者们对bert的相关理论有一定的了解，尤其是transformer的结构原理，网上的资料很多，本文内容对原理部分就不做过多的介绍了。我自己写出来其中一个目的也是帮助自己学习整理、当你输出的时候才也会明白哪里懂了哪里不懂。因为水平有限，很多地方理解不到位的，还请各位批评指正。1、配置class Bert...

目录〇、序一、DeepNLP的核心关键：语言表示（Representation）二、NLP词的表示方法类型三、NLP语言模型四、词的分布式表示五、词嵌入（ word embedding）六、神经网络语言模型与word2vec七、后言作者：Scofield链接：https://www.zhihu.com/question/53354714/answer/1553...

From:http://www.xuwei.io/2018/11/30/%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB-glue%E6%95%B0%E6%8D%AE%E9%9B%86%E4%BB%8B%E7%BB%8D/GLUE榜单地址：https://gluebenchmark.com/leaderboard/如果要用一句话形容文本分类任务在NLP中的应...

一文读懂BERT（原理篇）2018年的10月11日，Google发布的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》，成功在 11 项 NLP 任务中取得 state of the art 的结果，赢得自然语言处理学界的一片赞誉之声。本文是对近期关于BERT论文、相关文章、代码进行学...

目录0 引言1 分词1.1 全模式和精确模式1.2 搜索引擎模式1.3 HMM 模型2 繁体字分词3 添加自定义词典3.1 载入词典3.2 调整词典4 关键词提取4.1 基于 TF-IDF 算法的关键词提取4.2 基于 TextRank 算法的关键词提取4.3 自定义语料库5 词性标注6 并行分词7 返回词语在原文的起止位置...

目录1 模型的思想2 模型的架构3 Embedding3.1 Word Embedding3.2 Positional Embedding4 Encoder4.1 Muti-Head-Attention4.1.1 Self-Attention4.1.2 Add & Norm4.2 Feed-Forward Network5 Decoder5....

图形数据库（Graph Database）是NoSQL数据库家族中特殊的存在，用于存储丰富的关系数据，Neo4j 是目前最流行的图形数据库，支持完整的事务，在属性图中，图是由顶点（Vertex），边（Edge）和属性（Property）组成的，顶点和边都可以设置属性，顶点也称作节点，边也称作关系，每个节点和关系都可以由一个或多个属性。Neo4j创建的图是用顶点和边构建一个有向图，其查询语言cyph...