《自然语言处理实战入门》深度学习 ---- 预训练模型的使用（ALBERT 进行多标签文本分类与CPU 下的微调 fine tune）

---

如何使用预训练模型进行文本分类以及下游任务的微调呢？其实挺简单的，CPU+大内存（16G及以上）也能跑，我们来大致探索一二

环境构建

conda create -n nlp_tf2 python=3.8 -y
conda activate nlp_tf2
conda install ipykernel
# bert4keras 无法支持高版本
pip install tensorflow==2.2.2
pip install pandas
pip install matplotlib
pip install sklearn
pip install bert4keras

关键点

1. 使用linux 类系统,windwos 系统中,albert tf keras 各种适配困难
2. 如果windows 中wsl2 中使用，需要将wsl2 的资源配置调高

import sys
import json
import math
import numbers
import numpy