awesomezjk的博客

其实ModelScope也是有类似xxxxForMaskedLM的接口的，只不过藏得比较深，而且官网上的文档没有提到

刘鹏飞老师通过NLP的四个发展阶段——传统机器学习阶段，基于word2vec的神经网络阶段，pre-train fine-tuning阶段以及当前的prompt阶段——来展示下游任务与预训练任务越来越接近，而下游任务与预训练任务越接近，预训练模型就可以在进行下游任务时承担更多的工作（，所以预训练模型就能将自己学习到的能力更全面更充分运用到下游任务上？我看到的大都是一笔带过，大体都是说之所以有效是因为通过提示模板将下游任务重构成了预训练任务的形式云云，那为什么将下游任务重构成预训练任务的形式就能有效呢？

从预训练-微调(Pre-train Fine-tune)范式说起预训练-微调范式就是预训练好一个初始模型，后续根据具体的下游任务来对初始模型进行微调。预训练-微调范式存在的问题是:①预训练模型有可能会过拟合；②如果微调数据不足，微调的效果就不好；③微调后的模型有可能连用来预训练任务都无法执行。预训练-微调范式预训练出来的模型需要去迎合下游任务，i.e. 要根据具体的下游任务微调模型参数，如②所说，如果微调数据不足，那微调就达不到理想的效果。Prompt范式就登场了，与预训练-微