CNN卷积神经网络
和
transformer注意力机制
相关的知识,是AI领域的一个基础知识点。一般面试官会从这里考场我们对基础知识点的理解程度,和对最新知识的学习跟进程度。以下这些问题入手:
- 卷积神经网络,有什么特点?
1*1
卷积核有什么作用?- 计算经过卷积的输出尺寸大小
- 空洞卷积你了解吗?有什么特点
CNN和transformer
两者相比,有什么优缺点?- transformer的query、key、value是如何工作的?怎么产生注意力机制的
- attention有哪些类型和变种
后面,我们就带着这些问题,一一找到答案。
一、CNN
首先是听到卷积神经网络,立马就会顾名思义,卷积+神经网络。
1.1、卷积
卷积我们知道,在信息论