lusing的专栏

PyTorch快餐教程2019 (2) - Multi-Head Attention上一节我们为了让一个完整的语言模型跑起来，可能给大家带来的学习负担过重了。没关系，我们这一节开始来还上节没讲清楚的债。还记得我们上节提到的两个Attention吗？上节我们给大家一个印象，现在我们正式开始介绍其原理。Scaled Dot-Product Attention首先说Scaled Dot-Pr...

PyTorch快餐教程2019 (1) - 从Transformer说起深度学习已经从热门技能向必备技能方向发展。然而，技术发展的道路并不是直线上升的，并不是说掌握了全连接网络、卷积网络和循环神经网络就可以暂时休息了。至少如果想做自然语言处理的话并非如此。2017年，Google Brain的Ashish Vaswani等人发表了《Attention is all you need》的论文，提...