唧唧复歪歪

转自：https://www.cnblogs.com/xiaozhi_5638/p/10923351.html机器推理在深度学习的影响下，准确性越来越高、速度越来越快。深度学习对人工智能行业发展的贡献巨大，这得益于现阶段硬件计算能力的提升、互联网海量训练数据的出现。本篇文章主要介绍深度学习过程中如何选择合适的GPU显卡，如果你是深度学习新手，希望这篇文章对你有帮助。推理用到的硬件分两种，一种是专业AI硬件公司出的AI芯片，一种就是我们平时熟知的GPU显卡了，前者不太适合入门学习，而后者无论从入门难度

1.Further train (Continue train)预训练的模型由于从头开始(from scratch)训练需要巨大的计算资源，因此Google提供了预训练的模型(的checkpoint)，目前包括英语、汉语和多语言3类模型，而英语又包括4个版本：BERT-Base, Uncased 12层，768个隐单元，12个Attention head，110M参数 BERT-Large, Uncased 24层，1024个隐单元，16个head，340M参数 BERT-Base, Cas

自监督学习https://github.com/jason718/awesome-self-supervised-learning