paddle课程中NLP+推荐系统的学习心得

因为之前有了些自然语言处理的基础，所以以为学起来会较为轻松，但实际上的情况并不是如此，一些在平时写代码中比较陌生的概念，例如基础的词向量训练，循环神经网络，推荐系统中的万物皆可embedding等等，在最开始学习的时候感觉仿佛一团乱麻，所幸的是在参加了百度的课程后，在每天晚上八点的晚课上老师们先理论后实践的讲课模式，无不使我茅塞顿开，原本晦涩难懂的那些原理思路，一下子就豁然开朗起来，再结合之后老师所进行的实践教学，很快地就学会了一个基本网络的构建与调试，同时还学会了种种进行优化的手段。老师在课后布置的作业也是有一些难度，需要花费时间去思考解决，只要用心去做，在这个过程中也能学到一些东西。

最后的比赛也是很有意思，是个新闻标题多分类的问题。如今学术界出来各种预训练模型，有bert，ernie，ernie2.0，Roberta，bert-wwm，xlnet等，在使用百度框架中的paddle hub进行调用也是非常的方便，就是调参的过程十分漫长。在比赛当中，虽然最后离得奖只差一名（好气有木有），但是在这个过程中还是学到了不少东西。一开始的EDA，到训练时候的多任务学习（使用百度的paddle slim），到最后提升分数使用的模型融合voting和伪标签的方法。在前两天排行榜前几名分享方案的时候，我也发现了自己很多地方也可以去做，例如在改进损失函数，关键词分析，对抗学习等方面。

虽然这一阶段结束，与得奖失之交臂，但是也收获了许多，感谢百度，感谢飞桨官方，后续会整理好代码放在GitHub上，也为飞桨开源做出微薄的贡献。

结束也是一种开始！