Deadwalk的专栏

在前两篇学习中【课程总结】day19（中）：Transformer架构及注意力机制了解，我们初步了解大模型的公共底层架构的构成，同时借助对的代码深入了解(【课程总结】day20：Transformer源码深入理解之训练过程)，初步掌握了的训练过程。本篇我们将对大模型的训练阶段进行初步了解，同时部署一个T5模型进行试用体验。

在上一章【课程总结】Day17（下）：初始Seq2Seq模型中，我们初步了解了Seq2Seq模型的基本情况及代码运行效果，本章内容将深入了解Seq2Seq模型的代码，梳理代码的框架图、各部分组成部分以及运行流程。

在上一章【课程总结】day24（上）：大模型三阶段训练方法(LLaMa Factory)内容中主要了解一个大模型的训练过程，无论是第三方的大模型还是自研的大模型，都需要部署到服务端，提供对应API接口供上层应用使用。所以，本章将主要了解vLLm + langchain的基本使用方法。

在上一章课程【课程总结】Day13（上）：使用YOLO进行目标检测，我们了解到目标检测有两种策略，一种是以YOLO为代表的策略：特征提取→切片→分类回归；另外一种是以MTCNN为代表的策略：先图像切片→特征提取→分类和回归。因此，本章内容将深入了解MTCNN模型，包括：MTCNN的模型组成、模型训练过程、模型预测过程等。

在前两章的学习中，我们了解到大模型的训练过程，其中Base model(底座大模型)的训练采用了挖空填空的策略。本章我们将结合BERT和GLM两个模型的论文，深入了解在预训练时两者的具体训练策略。

终于，我们的课程将要进入到当前最为火热的大模型部分。本章内容，我们将开始了解大模型，其中的内容包含大模型的发展历史、大模型的特点、大模型底层架构Transformer的简单了解以及最后对于人工智能的思考。大模型通常指的是具有大量参数（具有数亿到数千亿参数的深度学习模型）的深度学习模型，这些模型在处理复杂任务时展现出显著的性能提升。

在机器学习章节【课程总结】Day6（上）：机器学习项目实战–外卖点评情感分析预测中，我们曾借助sklearn进行了外卖点评的情感分析预测；接下来，我们将深入了解自然语言处理的基本概念、RNN模型以及借助RNN重新进行外卖点评的情感分析预测。

在上一章【课程总结】day19（下）：Transformer源码深入理解总结中，我们对Transformer架构以及初始化部分做了梳理，本章我们将对Transformer训练过程进行代码分析理解。

本章我们将通过 LLaMA-Factory 具体实践大模型训练的三个阶段，包括：预训练、监督微调和偏好纠正。

在上一章【课程总结】Day13（下）：人脸识别和MTCNN模型中，我们初步了解了人脸识别的概念以及MTCNN的网络结构，借助开源项目的代码，初步在本地实现了MTCNN的数据预处理、训练和预测过程。本章内容，我们将深入MTCNN的代码，理解数据预处理、训练和预测过程。

本章内容，我们将从注意力的基础概念入手，结合Transformer架构，由宏观理解其运行流程，然后逐步深入了解多头注意力、多头掩码注意力、融合注意力等概念及作用。

在上一章【课程总结】day20：Transformer源码深入理解-训练过程总结中，我们对Transformer的训练过程进行了详细的分析，本章将介绍Transformer的预测过程。

在上一章，我们通过学习了解了语义分割以及U-Net网络结构【课程总结】Day15（上）：图像分割之语义分割。在本章，我们将学习了解图像分割中的实例分割以及相关的数据预处理注意事项。

在前两章【课程总结】Day15（上）：图像分割之语义分割和【课程总结】Day15（中）：图像分割之实例分割中，我们学习掌握了语义分割和实例分割。在本章中，我们将了解YOLO最新的OBB(旋转目标检测)。

上一章我们已经学习掌握了计算机视觉中的人脸检测【课程总结】Day14：MTCNN过程的深入理解，接下来的我们将学习了解计算机视觉中：语义分割和图像分割。语义分割，是将图像中的每个像素都分类为特定的语义类别,如"人"、“车”、"建筑"等。访问https://segment-anything.com/demo#也可在线体验语义分割。# U_Net模型中的双卷积网络结构# 此处包含padding，为了使输出图像与输入图像大小相同# 编码器部分# 特征图大小不变# 特征图大小长宽减半。

在上一章【课程总结】day21（下）：大模型的三大架构及T5体验中，我们体验了Encoder-Decoder架构的T5模型。本章内容，我们将以Decoder-Only架构的Qwen模型入手，了解Qwen模型结构、聊天模板的概念以及通过大模型进行翻译、信息抽取等任务的尝试。

在上一章【课程总结】day19（下）：Transformer架构及注意力机制了解总结中，我们对Transformer架构以及注意力机制有了初步了解，本章将结合中的源码，对Transformer的架构进行深入理解。

日月忽其不淹兮，春与秋其代序。技术更新的车轮在滚滚向前，曾经名噪一时的RNN模型，在新的技术革新下也渐渐落幕，本章我们将初步了解Seq2Seq模型，同时借助Demo代码，对Seq2Seq模型有一个直观了解。

在上一章【课程总结】Day17(上)：NLP自然语言处理及RNN网络我们初步了解RNN的基本概念和原理。本章内容，我们将继续了解RNN的变种模型，如LSTM和GRU。

在前一阶段课程中，我们学习了图像分割中的语义分割实例分割旋转目标检测等。这些图像分割算法都是有监督学习，而GAN（生成对抗网络）是一种特别的学习策略，其核心思想非常值得借鉴，所以本章将以GAN网络的代码为切入口，了解掌握其核心思想。在上述的两种学习策略中，有一种特殊的、独立的学习策略：GAN（生成对抗网络）。它由两个网络（生成器和判别器），通过对抗在竞争中共同发展。G：生成器（造假）D：鉴别器（打假）训练过程：两个网络刚开始都没有任何能力在竞争中共同发展最后两个网络能力都得到提升。

在上一篇课程《【课程总结】Day7：深度学习概述》模型训练过程→本质上是固定w和b参数的过程；让模型更好→本质上就是让模型的损失值loss变小；让loss变小→本质上就是求loss函数的最小值；本篇文章，我们将继续深入了解深度学习的项目流程，包括：批量化打包数据、模型定义、损失函数、优化器以及训练模型等内容。

在上一章《【课程总结】Day11（下）：YOLO的入门使用》的学习中，我们通过YOLO实现了对图片的分类任务。本章的学习内容，将以目标检测为切入口，了解目标检测流程，包括：数据标准、模型训练以及模型预测。

在上一章《【课程总结】Day11（上）：手势图像识别实战(LeNet模型)》课程中，我们通过使用LeNet模型实现了手势识别。在本章内容中，我们将搭建Vgg模型和ResNet模型，并应用到手势识别中。

由于接下来的课程内容将围绕计算机视觉展开，其中接触最多的内容是卷积、卷积神经网络等…因此，本篇内容将从卷积入手，梳理理解：卷积的意义、卷积在图像处理中的作用以及卷积神经网络的概念，最后利用pytorch搭建一个神经网络。

在【课程总结】Day11（下）：YOLO的入门使用一节中，我们已经了解YOLO的使用方法，使用过程非常简单，训练时只需要三行代码：引入YOLO，构建模型，训练模型；预测时也同样简单，只需要两行代码：引入YOLO，预测图像即可。

在人工智能领域，机器可以处理的数据类型如上图，大约可以分为以上类别。# 相当于如下3×3的矩阵# 卷积核的中间行为零，第一行为负数，第二行为正数。这样可以突出图像中垂直方向像素有突变的情况。运行结果如下：如果像素相同，经过上面卷积核的运算就会上下像素抵消为0，变成黑色；如果像素不同，经过上面卷积核的运算就会把差异放大抽取出来，从而凸显出像素的突变。

YOLO（You Only Look Once）是一种流行的目标检测算法，由Joseph Redmon等人于2015年提出。YOLO的设计思想是将目标检测任务转化为单个神经网络的回归问题，通过在图像上划分网格并对每个网格预测边界框和类别置信度来实现目标检测。

上一章内容我们初步了解了卷积、卷积神经网络、卷积神经网络的搭建过程以及经典的LeNet网络结构，本篇内容将基于LeNet网络结构，实现手势识别。在开展手势识别之前，我们需要先下载并初步了解数据集的情况。

均值是一组数据中所有数据值的总和除以数据值的个数。

本篇文章，我们将通过示例来逐步学习理解导数、求函数最小值、深度学习的本质、以及使用numpy和pytorch实操深度学习训练过程。

因为标签列的内容只有两种情况：‘<=50K’ 和’>50K’，所以只需要将这一列中’<=50K’替换为0，'>50K’替换为1即可。基于个人收入数据(包括教育程度、年龄、性别等)的数据集，通过机器学习算法，预测一个人的年收入是否超过5万美金。由于其存在潜在的数字大小对比，让算法认为特征之间存在大小关系，所以并不适用于上述的婚姻状况、职业类型、国家等。1、实现一个函数，传入三个参数：分别是离散量列的序号、连续量列序号和丢弃列序号。最后，在去除丢弃列之后，将连续量列和离散量列按照列方向堆叠为一个新的矩阵。

在这个例子中，字汇表为[“方”, “便”, “，”, “快”, “捷”, “味”, “道”, “可”, “口”, “快”, “递”, “给”, “力”]。在这种方法中，每个汉字被表示为一个固定长度的向量，向量的大小等于字典的大小，每个条目对应于预定义单词字典中的一个单词，其中只有一个位置是1，其余为0。在词袋模型中，文本中的每个汉字被看作是独立的，没有关联性，然后根据字典统计单词出现的频数。如果数据是汉字，机器是无法处理的，其底层都是处理数字，我们需要将汉字向量化为数字。

其内容即为一个表格，前面是特征，label为标签。这个过程一般来说是，其本质是完成从输入到输出的映射。备注：在魔塔社区找了一份。

本章内容主要是学习了概率相关的知识，包括：概率、离散型概率计算方法、连续性概率计算方法、条件概率等数理统计知识，同时结合高斯贝叶斯算法，对鸢尾花进行模型预测。

人们早就知晓，相比凉爽的天气，蟋蟀在较为炎热的天气里鸣叫更为频繁。数十年来，专业和业余昆虫学者已将每分钟的鸣叫声和温度方面的数据编入目录，通过将数据绘制为图表如下：此曲线图表明温度随着鸣叫声次数的增加而上升。我们可以绘制一条直线来近似地表示这种关系，如下所示：事实上，虽然该直线并未精确无误地经过每个点，但针对我们拥有的数据，清楚地显示了鸣叫声与温度之间的关系(即y = mx + b)。如果我们输入一个新的每分钟的鸣叫声值 x1推断（预测）温度 y′，只需将 x1 值代入此模型即可。

本章内容围绕决策树的应用，我们展开了解到：熵的定义、熵的计算、决策树的构建过程(基于快速降熵)、基尼系数等，从而使得我们对决策树有了直观认识。

上节课主要学习了机器学习的基本项目流程，具体请见【课程总结】Day1：人工智能的核心概念。KNN算法。为了对算法有个直观理解，今天的课程整体的过程概括为：1、实例代入：先从一个经典的例子鸢尾花分类分析问题→采集数据→遴选算法→代码实现→部署集成2、代码实现：结合上述问题，通过sklearn构建模型→训练模型→使用模型预测3、相关知识学习利用sklearn.model_selection库中的train_test_split进行数据切分利用joblib进行模型的序列化和反序列化操作。