qq_40671063的博客

是基于模型改进的一个变种，结合了（Bidirectional Encoder Representations from Transformers）和的优点，旨在更好地处理长期依赖性问题，特别是在自然语言处理（NLP）任务中具有更好的效果。

将CNN的图像分类推广到目标检测任务；如何用CNN来定位目标位置；不可行的方法： 将定位目标作为回归问题：直接预测这些目标，但性能不好；可行的方法：提取候选区域，使用CNN提取候选区域特征，对区域进行分类目标检测任务在当时数据量较小；大数据集上进行有监督训练，小数据集进行微调 -- 迁移学习思路；

初始化神经网络中的权重和偏置是深度学习模型训练中非常重要的一步，虽然在某些情况下不进行初始化也能训练出模型，但正确的初始化方法能够显著提高训练效率并帮助模型更好地收敛。

正则化是一种降低机器学习模型过拟合风险的技术。L1正则化公式：L2正则化公式：L1正则化实际上就是L1范数，L1简单示意图：L2正则化实际是L2范数，L2简单示意图：从上面两图可以看出L1和L2正则化函数是凸函数，可行域是凸集，对应的问题是一个凸优化问题 -- 简单问题（可以看王木头学科学的视频，我这里介绍的不清楚：“L1和L2正则化”直观理解(之一)，从拉格朗日乘数法角度进行理解_哔哩哔哩_bilibili。

时间序列预测在许多真实世界的动态系统中具有重要意义，并已得到广泛研究。与自然语言处理（NLP）和计算机视觉（CV）不同，在自然语言处理和计算机视觉中，一个大型模型可以处理多个任务，而时间序列预测模型往往是专门的，需要针对不同的任务和应用进行不同的去符号化。虽然预训练基础模型在 NLP 和 CV 领域取得了令人瞩目的进展，但它们在时间序列领域的发展却受到了数据稀缺性的限制。最近的研究表明，大型语言模型（LLM）对复杂的标记序列具有强大的模态识别和推理能力。然而，如何有效地。

在计算机视觉领域，尽管有许多功能强大的视觉基础模型（VFMs），但它们难以与 LLMs 的开放式任务能力相媲美。以视觉为中心的任务提出了一个基于 LLM 的框架，称为 VisionLLM。该框架将图像视为一种外语，并将以视觉为中心的任务与可使用语言指令灵活定义和管理的语言任务相统一，从而为视觉和语言任务提供了一个统一的视角。基于 LLM 的解码器可以根据这些指令对开放式任务进行适当的预测。大量实验表明，所提出的VisionLLM 可以通过语言指令实现不同程度的任务定制。

textcnn, textrnn, textrcnn, textrnn_att, dpcnn, transformer介绍

深度学习国科大考试

1 名词解释 深度学习：将训练数据（低层特征）输入人工构造的神经网络（其模仿大脑神经元之间的传递），通过神经网络的多层运算自动提取更高层次的数据分布式特征表示； 稀疏自编码器：当隐藏节点较多时，自编码器会学习到很多冗余信息，降低压缩效率，因此向自编码器中添加正则化项，使得大部分单元输出都变为0（对神经元进行抑制），利用少数单元完成压缩或重构。 正则化：广义正则化：通过某种手段使学习算法在训练误差（bias）变化不大的情...

熵、信息熵、交叉熵、KL散度、交叉熵损失、Softmax、Sigmoid

深度学习在语音识别中的应用概述

深度学习开发平台、框架介绍

记忆网络一些方法梳理

注意力机制含义梳理

GAN、CGAN、InfoGAN、 DCGAN、GAN应用

胶囊网络简单介绍

hopfield、 玻尔兹曼机、受限玻尔兹曼机、深度玻尔兹曼机、对比散度训练、深度信念网络、自编码器、降噪自编码器、稀疏自编码器、栈式自编码器

详解图神经网络

经典卷积神经网络