weixin_47072998的博客

学习目标• 了解Transformer的原理和基于预训练语言模型（Bert）的词表示• 学会Bert的使用，具体包括pretrain和finetune1.Transformer1.1Transformer的编码部分和解码部分分别是一组编码器或者解码器的堆叠。https://jalammar.github.io/illustrated-transformer/11.2Self-Attention中使用多头机制，使得不同的attention heads所关注的的部分不同1.3编码器结构中每个子层

fasttext安装分类模型用验证集调参1.pip install fasttext失败重启后conda install fasttext失败https://www.lfd.uci.edu/~gohlke/pythonlibs/#fasttext找到自己python对应的版本，我的是python3.7，所以下载的是fasttext-0.9.2-cp37-cp37m-win_amd64.whl2.分类模型import pandas as pdfrom sklearn.metrics im

首先安装sklearncmd： pip install -U scikit-learn一、文本表示方法1.One-hot我：[1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0]爱：[0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0]…海：[0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 1]2.Bag of Words（Count Vectors）句⼦1：我 爱 北 京 天 安 ⻔转换为 [1, 1, 1, 1, 1, 1, 1, 0, 0,