训练Huggingface的Pytorch版BERT出现错误“RuntimeError: CUDA error: device-side assert triggered”

错误原因

RuntimeError: CUDA error: device-side assert triggered出现的根本原因是实际数据的label与模型定义的label不匹配，具体来说有以下几种：
1.真实数据的label数量不等于模型定义的label数量；
2.真实数据的label值并非[0, 1, 2, …]，而是自定义的label值.

解决方案

(对应上述两个错误原因)
1.改变模型中自定义的label值，使之与真实label数量一致；
2.在将数据输入训练模型之前更改数据的label值，让其符合[0, 1, 2, …]的形式.

希望能对遇到同样问题的朋友有所帮助。