susu944866518的博客

摘要通过双向文本预训练模式，以BERT为代表的基于自编码（autoencoding）的预训练模型在各类任务上表现突出，超越了传统的单向训练的自回归（autoregressive）语言模型。但由于使用mask进行训练，输入与下游任务的fine-tunning不一致，这种不一致使得BERT在生成类任务上相对较弱。综合考虑自编码（autoencoding）模型BERT与自回归（autoregress...

托福自学技巧性训练方案前言该方法为考试向，非能力向，主要针对2-3月快速考出成绩，部分太过注重能力但是耗时过多的精听训练本文较少涉及，训练多针对于锁定答案范围等技巧。词汇材料 词以类记、TPO生词训练方法 按照记忆曲线分以下记忆点记忆（要快，不要花太多时间，快而重复短期效果较好，以应付考试为主，需要长期提高能力的并不提倡），一次不用记太多，分成可以一口气坚持下来的minibatch，...

NLP论文解读：GPT-2摘要自然语言处理中，使用标注数据集的有监督fine-tuning方法成为主流。本文使用自行构建的新数据集WebText构建了一个语言模型直接处理下游任务。处理阅读理解任务时，GPT-2没有使用该task的标准训练集CoQA（127000+）进行fine-tuning，仍然好过4个baseline中的3个。语言模型的容量是零样本学习任务的重要成功要素，本文的模型有15亿...

[六点]Pygame零基础入门：极简开发框架参考Pygame官方文档嵩天教授的Python游戏开发教程前言在入门游戏开发时，pygame框架可以快速协助开发小型游戏。轻松而愉快的开始是从玩游戏到做游戏的关键，游戏的设计思想是游戏娱乐性的核心，在此之后有更高追求或下定决心进入游戏行业，再开始系统学习UNITY挑战3D游戏，是比较好的入门路线。极简框架事件部分初始化及循环开始事件...

[六点]Unity零基础实战：古迹探险（一）基本操作工程目录project创建文件夹，在其中创建材质，管理相关内容。资源导入WINDOWS中ASSET STORE中有免费资源，包括贴图，模型，天空盒等资源，不少收费资源有打折。但是由于网站服务器在国外，下载速度不少很快。搜索栏自动会搜索ASSET STORE中资源，一般先把TOP FREE的stardard asset下载，对于做demo...

[六点]知乎live笔记：厉害的人是怎么学习的学习的三个大坑学不完学习内容获得变得十分容易，学习应该选择那些内容，哪些内容不应该学习。记不住学习后真正需要应用时知识已经遗忘。用不了学了怎么应用，应用怎么用好。高手是怎么学习的学习的动机增加学习的趣味性，学习分为短期与长期，分为有用和有趣。对于成人来说，学习是比较功利的，追求长期带来的收益。学习的方法体验式学习：追求体验中发...

莫烦Pytorch代码笔记pytorch已经是非常流行的深度学习框架了，它的动态计算图特性在NLP领域是非常有用的，如果不会tensorflow或缺乏Deep Learning相关基础知识，直接看莫烦视频和代码是有一些困难，所以对代码做了部分解释和理解，希望能帮助到你。莫烦Github代码网上流传的pytorch中文文档和最近的英文文档隔了一个大版本，新版本完全可以用Tensor代替Vari...