聊北辰同学的博客

【深度学习】轻量级神经网络设计思路0. 前言随着深度学习技术在各个领域获得了表现出极大的潜力，但大部分神经网络模型的计算复杂度都使其无法在计算资源受限的情况下（如移动端设备）得到很好的应用，于是，神经网络的轻量化备受关注。那么如何将神经网络模型设计得小型化、轻量化呢？部分研究成果为我们打开了思路，也一定程度上促成了AI技术的推广和落地。1. 轻量级神经网络设计轻量级神经网络设计的主要思路：有限的计算复杂度下实现尽可能高的模型表达能力。模型表达能力一定程度上同通道数相关，换言之，就是要不过分减

自动驾驶关键技术之预测的介绍参见这篇博客【自动驾驶】自动驾驶轨迹预测思路和框架，适合用于背景和现状介绍，相关比赛汇总：Argoverse Motion Forecasting CompetitionArgoverse™是来自Argo AI的高清地图和传感器数据集，详见CVPR论文Argoverse: 3D Tracking and Forecasting with Rich Maps。nuScenes prediction challengenuScenes预测任务的目标是预测6秒视界内a

目录文章目录目录0. 前言1. 认识Transformer1.1 Seq2Seq模型与Attention机制1.2 Transformer1.2.1 Transformer基本结构1.2.2 Transformer的注意力机制1.2.3 Transformer的位置编码2. Transformer的应用探索2.1 NLP2.2 CV参考0. 前言Transformer由Google在《Attention Is All You Need》这篇论文中被提出，主要用于处理Seq2Seq（序列到序列，Sequ