昇思25天学习打卡营第7天|基于MindSpore的GPT2文本摘要

今天做一个根据一段文章提取摘要的提取器。

预装MindSpore环境

安装tokenizers和mindnlp

数据集加载与处理

咱们得把话变成BERT能懂的样子，就是把句子切成小块，换成ID号，还要加些特别符号，比如[CLS]和[SEP]。

GPT-2没专门弄中文的分词器，但BERT有，比如bert-base-chinese，它的分词器特擅长对付中文，所以我们用BertTokenizer来搞定。