学习Transformer这事简单，照着做包你变成高手！_cnn和transformer要自己手写吗-优快云博客

本文链接：https://blog.youkuaiyun.com/wangjunliang/article/details/145290929

内容由AI辅助创作，并由作者整合。

这事简单，照着做包你变成高手！

简单分成几步，

基础：Python 、 Numpy、 Pandas 、 Pytorch
理论：简单了解 MLP，CNN 、 Transformer 为主，再考虑 RNN 的基础
模型：AlexNet、 VGG 、 ResNet、 Yolo 、 SSD 是里任选两个自己手写代码，标记数据、训练一下就好了。如果你真的有志于此，那我建议你手写完整的 Transformer 模型，这现在看是未来的所有。
完成上面几步，这样你就是一个不错的入门选手了。再看看书，就是一个只需要你部就班就能成为高手的路！

详细说一下

基础

首先，作为一名深度学习从业者，掌握 Python 是基础。Python 除了语法简洁外，其生态系统中包含了大量用于数据处理和科学计算的库，这些是进行深度学习研究和应用开发的必备工具。下面这几个是必须的：

Numpy：这是一个强大的科学计算库，提供了大量的数学函数处理以及对大型多维数组和矩阵的支持，是深度学习中进行数学运算的基石。
Matplotlib：这是一个用于创建静态、交互式和动画可视化的库。在深度学习中，它常用于数据可视化，如绘制训练过程中的损失曲线和准确率曲线。
Pandas：这是一个强大的数据分析和操作工具，特别适合用来处理和分析结构化数据。它在数据预处理阶段非常有用，特别是当你需要对数据进行清洗、转换和准备工作时。
在深度学习框架方面，PyTorch 和 TensorFlow 是两个主流选择。

PyTorch：由于其易于理解的编程风格和动态计算图，PyTorch 在研究领域特别受欢迎。它的直观性使得开发新算法和实验新想法变得简单。
TensorFlow：相比之下，TensorFlow 在工业界更为流行，尤其是在需要大规模部署的场景中。TensorFlow 提供了一个全面的生态系统，包括用于生产部署的工具和资源。
这其中 Pytorch 是必须的，这东西有无数人的无数论文都是基于它的，最新的东西如果你不会 Pytorch，那肯定是不成的。

理论（完全以编码为假想条件）

简单了解 MLP，CNN 、 Transformer ，再考虑 RNN 的基础。至少你要懂下面的东西。

多层感知机（MLP）：
基础：MLP是神经网络的最基本形式，包含输入层、若干隐藏层和输出层。每一层都由一系列神经元组成，这些神经元与上一层的每个神经元相连接。

卷积神经网络（CNN）：
核心：CNN在图像处理和计算机视觉领域非常成功。它的关键在于使用卷积层来自动和有效地提取图像的特征。
结构：一个典型的CNN包括卷积层、池化层和全连接层。卷积层通过卷积核提取局部特征；池化层则负责降低特征的空间维度；最后，全连接层用于分类或回归任务。
应用：CNN广泛应用于图像识别、视频分析和自然语言处理等领域。

Transformer：
创新：Transformer模型在自然语言处理领域引起了革命。其核心是**“自注意力”（Self-Attention）机制**，允许模型在处理序列数据时关注序列中的任何部分。
优势：与RNN和LSTM相比，Transformer在处理长距离依赖方面更有效，且计算更可并行化。
应用：它是许多现代NLP模型的基础，如BERT、GPT、 LLaMa系列等。

循环神经网络（RNN)：
特点：RNN是处理序列数据的一种经典方法。它通过在序列的每个步骤传递隐藏状态来保存过去信息。
局限：标准的RNN在处理长序列时遇到梯度消失或爆炸问题，这限制了其在长序列上的性能。
改进：LSTM（长短期记忆）和GRU（门控循环单元）是改进的RNN变体，设计用来解决这些问题。

这里我没有特意提到大模型 LLM，因为我发现有个简单的路。 “知学堂推出的《程序员的AI大模型进阶之旅》”，其实就是一份非常有意思的 AI 大模型的介绍性入门课程，如果认真学了，你会学会关于大模型的相关知识，加薪、换工作大概率是个加分项。

模型与实际操作

在深度学习和计算机视觉领域，AlexNet、VGG、ResNet、Yolo和SSD都是极为重要的模型，各自代表了图像识别和对象检测领域的重要进展。为了深入理解这些模型的工作原理和应用，手写代码并亲自进行数据标记和训练是一个非常有效的学习方法。

AlexNet 和 VGG 是两个很好的起点：

AlexNet：作为深度学习历史上的里程碑，AlexNet 在2012年的ImageNet挑战赛中大放异彩。它的结构相对简单，包含5个卷积层和3个全连接层。手写AlexNet并在数据集上进行训练，可以帮助你理解卷积神经网络的基本构件和工作原理。
VGG：VGG网络以其简单和高效著称，特别是VGG-16和VGG-19。这些网络通过重复使用相同大小的小卷积核，展示了深层网络结构的强大能力。尝试手写VGG并训练它，将加深你对网络深度如何影响性能和特征学习的理解。

手写Transformer模型：
如果你对深入学习人工智能有长远的打算，那么手写完整的Transformer模型将是一个有意思的挑战。Transformer自2017年被提出以来，已经成为自然语言处理领域的核心模型，并且其影响力也扩展到其他领域如计算机视觉和音频处理。

Transformer模型的核心在于自注意力机制，这使得模型能够在处理序列数据时捕捉长距离依赖关系。此外，Transformer的层次结构和并行处理能力使其在处理大型数据集时更为高效。

手写Transformer模型不仅需要理解其复杂的架构和自注意力机制，还需要深入掌握如何有效地训练这样的大型模型。这个过程将极大地提升你在深度学习领域的理解和技能。

如果你懂了前三点，那你的 Transformer 的理解真是很到位了。

无论选择哪种模型，关键是通过实际操作来深入理解模型的工作原理。这包括了解模型的架构、学习如何处理和准备数据、了解训练过程以及如何调整参数以获得最佳性能。这种实践经验对于深入理解深度学习的原理和发展是非常宝贵的。

同时还有最重要的一点！如果你不看书，那还是对于这些是一个片面的认知，所以坚持看书吧。李沐的《Dive into Deep Learning》、或者**《understanding deep learning》从头看到尾就好了**，但是不动手是真的不成啊。

LLM在生物信息学研究中有哪些应用？该怎么学习和应用？

LLM框架：学习如何使用LLM框架（如OpenAI API、Hugging Face Transformers）。
小规模实验：从简单的任务开始，如使用LLM解析文献或生成序列注释。
生物信息文献挖掘：LLM可以从大量的生物信息文献中提取和整理信息，帮助研究人员快速获取最新的研究成果。
- 论文：阅读LLM在生物信息学中的应用论文，了解最新研究进展。
教程与课程：学习在线课程（如Coursera、edX）或教程，掌握LLM和生物信息学的结合方法。

怎么学习 Transformer？

很多学习Transformer模型的，被Transformer的注意力机制，多头注意力机制搞的一头雾水。当然你若想从头学习一个Transformer模型，可以参考如下动图详解Transformer视频。从Transformer模型到VIT（Vision Transformer (ViT) ）与Swin Transformer模型都有详细的动画与图文，代码实现介绍。

Transformers模型自开源以来至今，也是收到了10w+的star，其重要程度已经跟pytorch等神经网络模型比拟。

$ pip install transformers