【AI面试】CNN 和 Transformer 的问题汇总

已于 2024-11-06 20:45:11 修改
阅读量1.7k 收藏 7
点赞数 2
CC 4.0 BY-SA版权
分类专栏： 7天快速通过AI/CV面试 文章标签： cnn 人工智能 transformer
于 2023-05-13 15:32:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wsLJQian/article/details/130657214
本文深入探讨了卷积神经网络（CNN）和Transformer的特点。CNN以其局部感知和权值共享为特征，适用于图像处理，而Transformer通过自注意力机制捕捉全局依赖关系，适合处理序列数据。两者各有优缺点，如CNN在处理固定大小输入时表现出色，而Transformer在全局建模上占优。理解这些特性有助于在实际任务中选择合适的模型。

文章目录


​ CNN卷积神经网络和 transformer注意力机制相关的知识，是AI领域的一个基础知识点。一般面试官会从这里考场我们对基础知识点的理解程度，和对最新知识的学习跟进程度。以下这些问题入手：

  1. 卷积神经网络，有什么特点？
  2. 1*1卷积核有什么作用？
  3. 计算经过卷积的输出尺寸大小
  4. 空洞卷积你了解吗？有什么特点
  5. CNN和transformer两者相比，有什么优缺点？
  6. transformer的query、key、value是如何工作的？怎么产生注意力机制的
  7. attention有哪些类型和变种

后面，我们就带着这些问题，一一找到答案。

一、CNN

首先是听到卷积神经网络，立马就会顾名思义，卷积+神经网络。

0

1.1、卷积

卷积我们知道，在信息论里面都会提到这个名词，在这里就根据要描述的内容，要处理的是输入图像，卷积是对图像和卷积模板做内积。

在这里，单纯的对一个像素做卷积就没什么意义了。所以，这里不是对每个输入像

了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习的颠覆性发展：从卷积神经网络到Transformer
AI天才研究院
12-30 1960
本文详细讲解了从卷积神经网络到Transformer的深度学习发展趋势，介绍了Transformer的背景、核心算法原理以及具体代码实例和解释。同时，本文还对Transformer的未来发展趋势和挑战进行了深入分析。最后，本文总结了Transformer模型的优缺点和应用场景。希望本文能对读者有所帮助。
人工智能算法面试大总结-总目录
热门推荐
啥都生的博客
09-15 2万+
涉及秋招、春招、社招
Transformer面试题总结97道：涵盖核心技术与应用场景解析
04-12
内容概要：本文档《Transformer面试题总结97道.pdf》涵盖了Transformer模型的核心概念、机制、训练技巧及其应用。主要内容包括Transformer的数学假设、自注意力机制、Queries/Keys/Values矩阵的作用、Feed Forward层的训练、复杂度分析、Positional Encoding、Layer Normalization、信息表示能力、Encoder和Decoder的依存关系、Tokenization、复杂度降低方法、CLS标记的有效性、跨语言Tokenization、类别不平衡问题的处理、多嵌入策略、参数量减少方法、Transformer的深度问题、Batch大小与困惑度的关系、神经网络的信息表示能力、注意力机制的优势、Bias减少方法、Masking机制、Attention Score的物理机制、Bias减少方法、Transformer的泛化能力、Scaling操作的必要性、Positional Encoding的作用、Attention机制的实现方式、非线性操作、Teacher forcing的应用、Decoder的输入信息、Transformer的局限性、Label Smoothing、Beam Search算法、Knowledge Graph编码、对话系统的实现、Intent和Entity的预测、NER任务、手动实现Transformer与BERT的效果对比、Transformer相较于传统网络的优势、增量训练、Toxic语言探测、Word Analogy功能、Bad Label的发现、Bayesian模型的实现、Transfer Learning、MLE和MAP的应用、Naive Bayes的应用及问题等。 适合人群：具备一定机器学习和深度学习基础，对Transformer模型有深入理解需求的研究人员、工程师及从业者。 使用场景及目标：①深入了解Transformer模型的内部机制和训练技巧；②掌握解决Transformer模型训练和应用中常见问题的方法；③探索Transformer在不同任务中的应用潜力，如NLP、CV等领域；④理解Transformer与其他模型（如RNN、LSTM、CNN）的比较优势。 阅读建议：此文档内容详尽，适合系统学习和查阅。建议读者在阅读时结合实际项目经验，重点关注与自己研究或工作相关的部分，并尝试动手实践文档中提到的各种技术和方法，以加深理解和掌握。
Transformer~65
whaosoft143ai的博客
03-18 385
考虑到不同的设备可能有不同的内存和计算能力限制，可以采取的优化策略包括模型量化（将32位的浮点数转换为更低位的表示，如8位整数），模型剪枝（去除一些不重要的权重）以及知识蒸馏（训练一个更小的模型来模仿大模型的行为）。BERT 是一个在大量文本上预训练的双向 Transformer 编码器，它通过掩蔽语言模型（MLM）和下一句预测（NSP）的任务，利用了上下文两侧的信息，学习了深层次的语言特征。例如，在在线的、低延迟的实时任务（如语音识别的增量解码）中，递归模型或许会是更好的选择。 whaosoft aiot
万字解析！一文带你了解深度学习中经典神经网络结构--CNN、RNN、LSTM、Transformer
最新发布
HUANGXIN9898的博客
09-19 1716
同时课程详细介绍了。
复试专业前沿问题问答合集8-2——CNN、Transformer、TensorFlow
薛定谔的猫的博客
03-22 1184
深度学习中的的CNN、Transformer、TensorFlow的原理关系问答
面试题目总结（CNN）
aikudexue的博客
03-13 6058
1.CNN权值共享是什么 局部感知：即网络部分连通，每个神经元只与上一层的部分神经元相连，只感知局部，而不是整幅图像。（滑窗实现） （可行性）局部像素关系紧密，较远像素相关性弱。因此只需要局部感知，在更高层将局部的信息综合起来就得到了全局的信息。 权值共享：从一个局部区域学习到的信息，应用到图像的其它地方去。即用一个相同的卷积核去卷积整幅图像，不同的特征靠多个不同的卷积核实现。 （可行性）图像的局...
卷积神经网络（CNN）和Transformer这两个术语既可以指代整个网络架构，也可以指代网络中的单独层
qq_23865133的博客
03-05 1378
在深度学习中，看到很多人说CNN是架构，也有人说CNN是层。同时，也看到很多人说Transformer是架构，但有人说Transformer是层......我去了解了一下，卷积神经网络（CNN）和Transformer这两个术语既可以指代整个网络架构，也可以指代网络中的单独层，具体取决于上下文。
深度学习面试题之CNN
心向林丶的博客
06-06 6444
1、介绍下卷积操作的作用 卷积网络中的卷积核参数是通过网络训练出来的 通过卷积核的组合以及随着网络后续操作的进行，卷积操作可获取图像区域不同类型特征；基本而一般的模式会逐渐被抽象为具有高层语义的“概念”表示，也就是自动学习到图像的高层特征。 2、CNN结构特点 局部连接，权值共享，池化操作，多层次结构。 1、局部连接使网络可以提取数据的局部特征 2、权值共享大大降低了网络的训练难度，一个Filter只提取一个特征，在整个图片（或者语音／文本） 中进行卷积 3、池化操作与多层次结构一起，实现了数据的降维，将低
Transformer面试题汇总
aidamoxin的博客
06-20 778
Transformer模型的核心机制与关键技术解析 摘要： Transformer模型通过自注意力机制和多层结构实现高效的序列建模。其核心组件包括：多头自注意力层和前馈神经网络层，配合残差连接与层归一化确保训练稳定性。模型优势在于强大的并行计算能力和长距离依赖捕捉，但也面临计算复杂度高（O(n²)）和局部信息捕捉不足等挑战。编码器-解码器通过交叉注意力实现交互，其中线性变换增强特征表达能力，点积注意力采用缩放处理防止梯度消失。残差连接结构有效缓解梯度消失问题，支持深层网络训练。这些创新设计使Transfor
【AI面试】工作和面试过程中，经常遇到的其他问题汇总二（持续更新）
钱多多先森
04-21 410
发散性问题汇总，考察灵活性和思考性
AI算法岗面试经验汇总.zip
10-22
深度学习是近年来的热门领域，面试时会深入探讨神经网络的结构和训练过程，例如前馈神经网络、卷积神经网络（CNN）用于图像识别、循环神经网络（RNN）及其变种LSTM、GRU用于序列数据处理，以及Transformer在NLP中的...
腾讯春招密籍：2024最全CNN面试题大全，深度学习达人都在秘密分享！
Von_016's Blog
03-19 2369
池化（Pooling）是CNN中用于减小特征映射尺寸、减少参数数量和计算量的一种操作，同时能够提高模型对输入变化的鲁棒性。池化操作通常应用在卷积层之后，通过对卷积层输出的特征映射进行下采样（subsampling）或池化来实现这些目的。池化的主要类型包括最大池化（Max Pooling）：在特征映射的指定区域内取最大值作为该区域的输出。最大池化能够有效地捕捉图像中的纹理特征，并且对小的位移保持不变性。平均池化（Average Pooling）：计算特征映射指定区域内的平均值，作为输出。
白话Transformer&常见面试问题
qq_41915623的博客
05-20 2618
Tranformer现如今无论是在CV还是NLP，甚至现在非常或的LLM领域都非常重要！该架构是谷歌在2017年《Attention is all you need》中提出的，下面将分析本人对各个模块的理解+算法面试中的常见问题。
深度学习面试100题（第1-50题）：经典常考点CNN
TEDDY的博客
03-14 2877
深度学习面试100题（第1-5题）：经典常考点CNN - 知乎 https://zhuanlan.zhihu.com/p/39185031 深度学习面试100题（第6-10题） - 知乎 https://zhuanlan.zhihu.com/p/39367605 深度学习面试100题（第11-15题） - 知乎 https://zhuanlan.zhihu.com/p/39450005 深度...
【AI概念】卷积神经网络（CNN）vs. 循环神经网络（RNN）vs. Transformer详解（附详尽Python代码演示）| 定义与原理、数学公式、案例与代码可视化、结构对比与优缺点
AI人工智能爱酱～你的AI学习好帮手～
06-27 3401
大家好，我是爱酱。本篇將會系统梳理卷积神经网络（Convolutional Neural Network, CNN）、循环神经网络（Recurrent Neural Network, RNN）和Transformer三大深度学习架构的原理、结构、优势、典型应用与数学表达。内容非常详细，并有友善的代码解释、流程解析等，适合初学者和进阶者系统理解。 注：本文章含大量数学算式、详细例子说明及大量代码演示，大量干货，建议先收藏再慢慢观看理解。新频道发展不易，你们的每个赞、收藏跟转发都是我继续分享的动力！
【面试大题】CNN 参数计算
x66ccff
07-27 1776
CNN 参数计算
CV界，卷积神经网络真的干不过Transformer了吗？
weixin_44522295的博客
04-12 1930
上述一系列的分享，相信大家也会有了自己的看法，在这里答主再重复一下自己的结论，其实也就是没有免费的午餐原理，没有一个技术或者算法可以通用地解决所有问题，当其在一个任务上表现得好的时候，通常在另一个任务也许会不尽人意。粗暴地想用谁取代谁，都不是一个合理的思想，归根结底还是要对不同技术进行分析和理解，取长补短，相得益彰，这也是一系列论文给我们证明的结论。希望大家如果觉得答主分。
一文读懂经典深度学习模型—CNN、RNN、LSTM、Transformer、ViT
一个不怎么正经的算法工程师的博客~不定期更新一些我所覆盖领域的干货~~~包你满意噢~~
04-16 3524
RNN作为一种特殊的神经网络架构，也被称作序列模型或反馈神经网络。它主要用于处理具有序列特性的数据，如自然语言文本、时间序列数据等。在这类数据中，前后元素之间存在着紧密的关联关系。RNN 的独特之处在于其隐状态（hidden state）h 机制。随着序列数据按顺序逐个输入，隐状态 h 能够动态地捕捉序列中每个时刻数据的特征信息，并将之前时刻的信息融入到当前时刻。这种特性使得 RNN 不仅能处理当前输入，还能考虑到历史输入所携带的信息，从而对整个序列进行全局理解。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

钱多多先森

你的鼓励，是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值