tianyunzqs的专栏

本篇文章是在之前文章《【NLP】BERT模型解析记录》的基础上，主要记录BERT模型的相关细节问题，并以QA形式表述。文中会标注相关出处，如遇未注明或出现错误，请告知。如遇侵权，请告知删除~1.讲讲bert的结构bert结构大体上可分为输入、N层transformer的encoder和输出三部分组成。输入由token embedding、segment embedding和position embedding三部分相加组成；N层transformer的encoder，在bert_base中N=12

1.bert简单介绍BERT(Bidirectional Encoder Representations from Transformers)是谷歌在2018年10月份的论文《Pre-training of Deep Bidirectional Transformers for Language Understanding》中提出的一个预训练模型框架，发布后对NLP领域产生了深远影响，各种基于bert的模型如雨后春笋般涌出。在此对bert模型做一个简单的记录用于后期学习参考，文中会标注相关出处，如遇未注

在自然语言处理中，文本相似度是一种老生常谈而又应用广泛的基础算法模块，可用于地址标准化中计算与标准地址库中最相似的地址，也可用于问答系统中计算与用户输入问题最相近的问题及其答案，还可用于搜索中计算与输入相近的结果，扩大搜索召回，等等。基于此，现将几种常见的文本相似度计算方法做一个简单总结，以便后续查阅，本文所有源码均已上传到github。1.字符串相似度字符串相似度指的是比较两个文本相同字符个数，从而得出其相似度。python为我们提供了一个difflib包用于计算两个文本序列的匹配程度，我们可以将

决策树(Decision Tree)是一种基于规则的基础而又经典的分类与回归方法，其模型结构呈现树形结构，可认为是一组if-then规则的集合。决策树主要包含三个步骤：特征选择、决策树构建和决策树剪枝。典型的决策树有ID3、C4.5和CART(Classification And Regression)，它们的主要区别在于树的结构与构造算法。其中ID3和C4.5只支持分类，而CART支持分类和...

​​<>St=δ(WSt−1+UXt)Ot=δ(VSt)S_{t} = \delta(WS_{t-1} + UX_{t}) \\O_{t} = \delta(VS_{t})St​=δ(WSt−1​+UXt​)Ot​=δ(VSt​)

题目：判断一个正整数num是否可表示为2的N次方。对于这样一道题目，最简单的做法就是定义一个变量，并让其以2的n(n=0,1,2,3,...)次方递增，每次递增后与num比较，如果相等则返回true，直到递增到大于num，返回false。/************************************************************************//*

逻辑回归，虽然名字中带有“回归”，但却是解决分类问题的一种基础算法。本文主要介绍其原理。逻辑回归采用最大似然概率作为其损失函数，最大似然概率为：对于二分类问题将以上(2)和(3)进行合并将(4)代入(1)，再取对数其中，则，逻辑回归的损失函数可写为：对和求导.训练过程中，参数更新...