alicedog的博客

1 Tokenization分词-BertTokenizer好多代码还没理解，先等理解了再来补齐

图解BERTBERT的预训练+微调（finetune）：先在大规模无监督语料上进行预训练；然后在预训练好的参数基础上增加一个与任务相关的神经网络层；并在该任务的数据上进行微调训，最终取得很好的效果。现已成为NLP主流解决方案。1 BERT句子分类步骤：下载无监督预料上的BERT模型，包含：BERT模型配置文件（用来确定Transformer的层数，隐藏层大小），BERT模型参数，BERT词表（BERT所能处理的所有token）。在BERT模型上增加一个任务相关的神经网络，然后在特定任务监督

1 图解Attention问题：Attention出现的原因是什么？潜在的答案：基于循环神经网络（RNN）一类的seq2seq模型，在处理长文本时遇到了挑战，而对长文本中不同位置的信息进行Attention有助于提升RNN的模型效果。（1）名词理解：1、循环神经网络：循环神经网络（Recurrent Neural Network, RNN）是一类以序列（sequence）数据为输入，在序列的演进方向进行递归且所有节点（循环单元）按链式连接的递归神经网络。为什么需要循环神经网络：普通的神经网络都

1 环境配置1.1 下载项目文件直接点击Download ZIP即可下载全部内容。解压后示意图：1.2 配置本项目本地运行环境1.2.1 本地Typora打开项目文件夹使用软件Typora打开Markdown文件，对文件进行预览：1.2.2 本地环境配置（以Win10为例）1.打开vscode（已安装汉化包），新建一个Terminal（终端），用于安装一个新的python环境和相应的python依赖包：2.在Terminal中通过virtualenv软件安装python环境到ven