dream6104的专栏

1.加载bert模型及分词from transformers import AutoModelForMaskedLM, AutoTokenizermodel = "bert-base-cased"tokenizer = AutoTokenizer.from_pretrained(model, use_fast=True)model = AutoModelForMaskedLM.from_pretrained(model)2.分词演示这里是对COVID hospitalization分词p

文本解码时，每一个时间步不断的解码得到当前的文字，当前文字到底生成候选词典(vocab)中的哪一个，需要一定的策略,显然遍历的复杂度较高；例如，如果时间步是T=500，候选vocab容量为5000，则随机遍历复杂度可达到${1000}^{500}$，显然，这里有很多的改进空间，本文列举了一些常见的优化方法。