lusing的专栏

PyTorch快餐教程2019 (2) - Multi-Head Attention 上一节我们为了让一个完整的语言模型跑起来，可能给大家带来的学习负担过重了。没关系，我们这一节开始来还上节没讲清楚的债。 还记得我们上节提到的两个Attention吗？ 上节我们给大家一个印象，现在我们正式开始介绍其原理。 Scaled Dot-Product Attention 首先说Scaled Dot-Pr...

PyTorch快餐教程2019 (1) - 从Transformer说起 深度学习已经从热门技能向必备技能方向发展。然而，技术发展的道路并不是直线上升的，并不是说掌握了全连接网络、卷积网络和循环神经网络就可以暂时休息了。至少如果想做自然语言处理的话并非如此。 2017年，Google Brain的Ashish Vaswani等人发表了《Attention is all you need》的论文，提...