- 博客(38)
- 资源 (19)
- 收藏
- 关注
RSS订阅原创 五、AIGC大模型_10多模态大语言模型基础知识与示例
多模态大语言模型（Multimodal Large Language Model）是一种在传统大语言模型（LLM）基础上，融合了多种数据模态的先进人工智能模型，它的核心在于能够处理和理解多种类型的数据，并将这些数据转化为统一的语义表示，进而进行推理和生成模态文本（Text）：自然语言文本，如句子、段落等图像（Image）：静态图片，如照片、绘画等音频（Audio）：声音信号，如语音、音乐等视频（Video）：包含图像和音频的时间序列数据其他模态：如传感器数据、生物信号等。
2025-03-19 09:37:43
817
原创 五、AIGC大模型_09手动实现ReAct_Agent
是 LangGraph 提供的一个预构建方法（from langgraph.prebuilt import create_react_agent），它可以将语言模型（LLM）和一组工具（Tools）结合起来，创建一个能够根据用户输入自动调用工具的智能代理，这个代理可以根据用户的请求，决定是否需要调用某个工具，并将工具的输出反馈给用户这个函数如此好用，那么，其实现原理是什么，我们能否自定义方法实现ReAct_Agent呢？
2025-03-19 09:36:13
693
原创 五、AIGC大模型_08Agent基础知识
根据知识的生命周期分类，我们通常会采取不同的方法（微调、RAG、Agent）来将知识融入到AI中大语言模型本身无法直接调用外部工具或函数，但可以通过代理模式（Agent）来实现工具调用，代理模式的核心在于将语言模型的推理能力和外部工具的执行能力结合起来，通过中间的代理（Agent）来管理工具调用的流程，通过代理模式，语言模型可以间接调用外部工具，从而扩展其功能，更好地完成复杂任务。
2025-03-18 14:01:37
893
原创 五、AIGC大模型_07ChromaDB与RAG实战
向量数据库是一种新型的数据库，专门用于存储和检索高维向量数据，它结合了传统数据库（如关系型、文档型）的特点，并针对向量数据的特性进行了优化，主要用于支持语义检索、推荐系统、机器学习等场景关系型数据库（如 MySQL）数据结构：以表格形式存储数据，每行是一个记录，每列是一个字段查询方式：基于字符串匹配或数值比较，如适用场景：适合结构化数据的存储和复杂查询文档型数据库（如 MongoDB）数据结构：以 JSON 格式的文档存储数据，每个文档的结构可以不同查询方式：基于文档内容的匹配，支持灵活的查询。
2025-03-18 13:57:45
1085
原创 五、AIGC大模型_06第三方大模型云服务调用与RAG初识
目前，市面上的很多大模型（如阿里的通义千问、百度的文心一言、月之暗面的kimi、深度求索的deepseek等），它们除了能让我们自己直接进行使用之外，通常还支持通过开放API接口的形式，让我们进行接入，从而使得我们自己的IT系统具备大模型相关能力本文将以阿里云百炼平台（https://bailian.console.aliyun.com/#/home）为例，介绍如何调用第三方大模型云服务。
2025-03-17 09:30:40
795
原创 五、AIGC大模型_05模型的vLLM部署与LangChain调用
要搭建一个大模型应用服务，通常需要包含以下五层结构，即：基础环境、模型层、推理层、对外接口、外挂应用在了解了模型的微调训练之后，本文将以vLLM、OpenAI、LangChain为例，介绍大模型的推理部署以及对外接口开放调用vLLM（Virtual Large Language Model）是一个开源的大语言模型高速推理框架，由加州大学伯克利分校的LMSYS组织开发，它旨在提升实时场景下语言模型服务的吞吐量和内存使用效率，特别适合于需要高效处理大量并发请求的应用场景。
2025-03-17 09:23:10
746
原创 五、AIGC大模型_04LLaMA-Factory基础知识与SFT实战
LLaMA-Factory 是一个开源的大型语言模型（LLM）微调框架，旨在帮助开发者和研究人员轻松地对预训练语言模型进行定制化训练和优化SFT（Supervised Fine-Tuning，即：指令微调）属于大模型三大训练阶段（预训练-->监督指令微调-->偏好优化）中的第二阶段，是指在预训练模型基础上，通过标注好的特定任务数据进行进一步训练的方法，其目的是让模型更好地适应特定任务或领域多机多卡训练：适合大规模分布式训练，但配置复杂，需要免密 SSH 和 DeepSpeed 支持单机多卡训练。
2025-02-24 19:33:36
1172
原创 五、AIGC大模型_03BERT论文与实战
论文网址：https://arxiv.org/pdf/1810.04805BERT（Bidirectional Encoder Representations from Transformers）是一种新的语言表示模型，旨在通过无监督的预训练方法学习深度双向语言表示，与以往的语言模型（如ELMo和OpenAI GPT）不同，BERT能够同时利用上下文的左右信息进行预训练预训练完成后，BERT可以通过添加一个额外的输出层进行微调（fine-tuning），从而在多种自然语言处理任务（如问答和语言推理）上达到最
2025-02-13 21:27:54
677
原创 五、AIGC大模型_02大模型学习重点
大模型学习的重点主要包括：模型的训练/微调、模型的部署/测评、模型的上层开发训练/微调：训练是基础，微调是关键，它们决定了模型在特定任务上的表现部署/测评：部署是将模型推向应用的桥梁，测评是确保模型性能的保障上层开发：通过Prompt、RAG、Agent等技术，将模型的能力转化为实际应用。
2025-02-13 21:21:57
1005
原创 五、AIGC大模型_01大模型基础知识
目前，谈到大模型，通常都指的是大语言模型（LLMs，即：Large Language Models)大语言模型是具有大规模参数和复杂计算结构的深度学习模型，通常由深度神经网络构建而成，参数量从数十亿到数千亿不等（甚至更多）这些模型通过训练海量文本数据来学习语言的语法、语义和语境规则，从而能够生成自然语言文本或理解语言文本的含义。
2025-02-11 23:09:11
879
原创 四、自然语言处理_08Transformer翻译任务案例
在Seq2Seq模型的学习过程中，做过一个文本翻译任务案例，多轮训练后，效果还算能看Transformer作为NLP领域的扛把子，对于此类任务的处理会更为强大，下面将以基于Transformer模型来重新处理此任务，看看效果如何现有一个《data.txt》文件，里面存放了很多组翻译对（即：英文句子 - 中文句子 的组合）要求针对此《data.txt》文件，使用Seq2Seq模型构建一个翻译系统，并验证翻译效果。
2025-02-11 19:54:55
791
原创 四、自然语言处理_07Transformer架构原理笔记
在原始论文《Attention Is All You Need》中，Transformer的架构如下图所示。经过个人整理，对架构图的解读如下图所示（提示：下图为高清图，可放大查看细节内容）
2024-12-12 18:58:06
583
原创 四、自然语言处理_06Transformer基础知识笔记
依赖循环，无法并行处理：RNN的结构依赖于循环，每个时间步之间都是严格时序的（一步接一步），这导致其无法进行并行计算，也就无法充分利用分布式高性能并行计算资源，从而使得训练和推理速度较慢长距离依赖问题：RNN在处理长序列数据时，会出现梯度消失问题，从而难以捕捉到距离当前位置较远的依赖关系；随着时间间隔的增加，输入信息对于隐藏层状态的影响被逐渐“稀释”，导致模型难以学习到长期依赖多层堆叠性能回报有限。
2024-12-12 18:50:40
1144
2
原创 四、自然语言处理_05Seq2Seq模型与案例
Seq2Seq（Sequence-to-Sequence）是一种处理序列到序列问题的深度学习模型，广泛应用于机器翻译、文本摘要、语音识别、聊天机器人等自然语言处理任务中：指的是输入和输出都是序列数据，可以是文本、语音、时间序列信号等2：表示转换（transduction），即将一种序列转换为另一种序列（也就是将输入序列转换为输出序列）本质：学习输入序列和输出序列之间的映射关系现有一个《data.txt》文件，里面存放了很多组翻译对（即：英文句子 - 中文句子 的组合）
2024-12-06 13:35:23
1875
原创 四、自然语言处理_04时序信号的预测思想
时序信号在时间维度上存在先后顺序，要想对其做预测，则需要“用过去的自己“来预测”未来的自己”import osplt.show()上面一个正弦信号【y=sin(x)】的示例图，将x轴视为时间维度，y轴视为数据值，其即可表示为时序信号所以，”时序信号的预测问题“就可以转换为“根据过去的x1时间对应的y值，来预测未来x2时间的y值”1、拟合：y = f(x)输入：x输出：y方法：全连接（Linear）2、拟合：y_n = f(y_1, y_2, ..., y_n-1)输入：过去的y输出：当前的y。
2024-12-06 13:23:53
594
原创 四、自然语言处理_03LSTM与GRU
随着循环神经网络（RNN）在各种序列数据处理任务中被广泛应用，研究人员逐渐发现了其在处理长序列数据时会容易出现梯度消失（vanishing gradient）和梯度爆炸（exploding gradient）问题，限制了其在实际应用中的有效性。
2024-12-05 09:49:42
947
原创 四、自然语言处理_02RNN基础知识笔记
RNN（Recurrent Neural Network，循环神经网络）是一种专门用于处理序列数据的神经网络架构，它与传统的前馈神经网络（Feedforward Neural Network）不同，主要区别在于它能够处理输入数据之间的时间依赖性，这使得它特别适合于处理时间序列数据、自然语言文本、语音信号等类型的数据。
2024-12-04 16:05:20
712
原创 四、自然语言处理_01时序信号与文本向量化
以往我们做数据处理时，大多数都是处理一维数组、二维表格、三通道图像这些常规类型的数据，这些数据最多是在行/列、宽/高维度上存在顺序，但在时间维度上面没有顺序时序信号是指包含时序数据（Time Series Data）的信号，时序数据是一种特殊的数据类型，它记录了按时间顺序排列的数据点，包括语音、心电图、金融市场等数据在处理时序数据时，需要考虑到数据点之间的时间顺序和依赖关系，时间顺序和依赖关系对于理解时序数据的内在规律至关重要（即：除了特征很重要，特征之间的顺序也很重要）
2024-12-04 16:04:25
1364
原创 三、计算机视觉_10经典的数据集与目标检测数据标注格式
PASCAL VOC数据集是计算机视觉领域较早的数据集之一，对目标检测技术的发展有重要影响，它包含的图像数量相对较少，但每个图像都经过了精心的标注，适合用于算法的验证和测试。尽管有上面这些标准的数据标注格式，但在标注数据时，我们通常并不是直接在标注文件中手写内容，而是通过一些可视化的工具来进行标注，让工具帮我们生成对应的标注文件内容。备注：做目标检测的数据标注，通常产生的是与图片相对应的标注格式文件，而不是产生标注后的图片，一般都是通过【原图】+【与之相对应的标注格式文件】进行项目开发。
2024-12-02 13:31:33
1329
原创 三、计算机视觉_09GAN对抗学习案例
对抗学习（Adversarial Learning）是一种机器学习范式，它涉及到两个或多个模型在相互竞争的环境中进行训练，以提高各自的性能，这种学习方式的核心思想是通过对抗过程来激发模型的潜力，使它们在面对对手的挑战时不断进化和改进现存在一批手写数字的数据集（类似下图），需要通过GAN来模仿手写数字，使得生成器能生成与手写数字非常相似的图像，且不易被鉴别器识别。
2024-12-02 13:29:34
1184
原创 三、计算机视觉_08YOLO目标检测
YOLO作为目前CV领域的扛把子，分类、检测等任务样样精通，本文将基于两个小案例，用YOLO做检测任务，看看效果如何。
2024-11-26 13:22:37
677
原创 三、计算机视觉_07YOLO图像分类
在《LeNet5及手势识别案例》文章中，我们基于LeNet-5网络结构，根据【gestures】手势数据集做了模型训练和预测YOLO作为目前CV领域的扛把子，分类、检测等任务样样精通，本文将根据之前的gestures】手势数据集，换用YOLO来做手势预测的分类任务，看看效果如何。
2024-11-26 13:21:11
941
3
原创 三、计算机视觉_06YOLO基础知识
YOLO（You Only Look Once）是一种流行的对象检测和图像分割模型，由华盛顿大学的 Joseph Redmon 和 Ali Farhadi 于 2015 年推出，因其高速和准确性而迅速受到欢迎在目标检测领域，传统方法（如R-CNN系列算法）将目标检测分为两个阶段：首先使用区域候选网络（RPN）提取候选目标信息然后通过检测网络完成对候选目标的位置和类别的预测和识别。
2024-11-21 09:38:10
1291
原创 三、计算机视觉_05MTCNN人脸检测
人脸识别流程包括两个主要步骤：Step1：人脸检测，确保我们处理的是正确的人脸区域Step2：身份识别，确定该人脸的身份。
2024-11-21 09:35:42
1308
原创 三、计算机视觉_04AlexNet、VggNet、ResNet设计思想
AlexNet是由Alex Krizhevsky、Ilya Sutskever和Geoffrey Hinton在2012年ImageNet大规模视觉识别挑战赛（ILSVRC）中提出的，它不仅赢得了当届的比赛，还激发了后续许多创新的神经网络架构（如VGGNet、ResNet、GoogLeNet等）的开发VggNet是由牛津大学的视觉几何组（Visual Geometry Group）在2014年ImageNet大规模视觉识别挑战赛（ILSVRC）中提出的，在当届比赛中取得了第二名的成绩。
2024-11-17 17:27:37
1182
原创 三、计算机视觉_03LeNet5及手势识别案例
LeNet-5是一种经典的卷积神经网络（CNN）架构，由Yann LeCun在1998年提出，用于手写数字识别，LeNet-5是卷积神经网络的开创性工作之一，它引入了卷积层、池化层和全连接层的组合，为现代深度学习模型奠定了基础卷积层（Convolutional Layer）：使用多个卷积核提取图像特征池化层（Pooling Layer）：通常使用最大池化（Max Pooling）或平均池化（Average Pooling）来降低特征图的空间维度全连接层（Fully Connected Layer）
2024-11-17 17:25:33
1201
原创 三、计算机视觉_02计算机视觉领域的四大基本任务
计算机视觉是人工智能领域的一个重要分支，它是一个跨学科的领域，涉及计算机科学、人工智能、机器学习、图像处理、神经科学等多个学科的知识计算机视觉使用计算机技术来模拟人类视觉系统的功能，使计算机能够从图像或多维数据中提取信息、识别对象/场景/活动，其目标是使计算机能够像人类一样“看”和“理解”视觉世界自动驾驶汽车：使用视觉系统来识别道路标志、行人、其他车辆等医疗成像：辅助诊断，如肿瘤检测、骨折识别等安全监控：人脸识别、异常行为检测等工业自动化：质量控制、机器人导航等增强现实和虚拟现实。
2024-11-15 09:32:53
1239
原创 三、计算机视觉_01图像的基本操作
0 前言图像的读取和处理是计算机视觉领域中的一个基本任务，在Python中，有几个流行的库可以用来读取和处理图像数据0.1 Matplotlib介绍Matplotlib是Python中一个非常流行的绘图库，它通常用于数据可视化，虽然它不是专门的图像处理库，但它提供了基本的图像读取和显示功能，其特点如下：数据科学三剑客之一：Matplotlib常与Pandas和NumPy一起使用，是数据科学领域的重要工具 数据可视化：它主要用于创建高质量的图表和图形，但也可以用来显示图像 高仿Matlab
2024-11-15 09:31:20
1236
2
原创 二、深度学习_基本概念笔记
深度学习（Deep Learning）是机器学习的一个子集，它基于人工神经网络（特别是深层神经网络）的学习，深度学习模型能够学习数据中的复杂模式，并且在图像识别、语音识别、自然语言处理等多个领域都有典型的应用（1）概念层面：（2）模型结构：（3）数据依赖性：（4）计算资源：（5）应用领域：（6）特征工程：（7）可解释性：备注：尽管存在这些区别，深度学习和机器学习在实践中往往是互补的，深度学习可以作为机器学习中的一种强大工具，而机器学习中的许多概念和技术也适用于深度学习模型的开发和优化深度学习指的是使用深层神
2024-11-13 19:51:52
1061
原创 一、机器学习算法与实践_07支持向量机与集成学习算法笔记
SVM（Support Vector Machine，即：支持向量机）是一种监督学习算法，主要用于分类问题，但也可用于回归分析（称为支持向量回归，Support Vector Regression，简称SVR）集成学习（Ensemble Learning）是一种机器学习方法，它结合多个不同的机器学习模型，以便提高预测准确性、鲁棒性或计算效率。
2024-11-13 19:48:58
1370
原创 一、机器学习算法与实践_06迭代法和KMeans、线性回归、逻辑回归算法笔记
线性回归（Linear Regression）是一种预测连续数值的监督学习算法，它试图找到特征和目标变量之间的线性关系，并通过线性关系进行模型的训练和预测逻辑回归（Logistic Regression）虽然名字中有“回归”二字，但实际上它并不是一种回归算法，而是一种分类算法，它通常用于预测离散类别标签，特别是二分类问题。
2024-10-04 16:41:46
1604
1
原创 一、机器学习算法与实践_05项目实战——信用卡客户流失分析预测及PCA、SVD特征降维
字段名称字段类型字段说明CLIENTNUM整型客户编号，拥有帐户的客户的唯一标识符字符型目标，客户活动情况，如果帐户已关闭，则为1，否则为0整型客户的年龄，以年为单位Gender字符型性别，男性（M），女性（F）整型受抚养人的数量字符型教育资格（例如：高中（high school），大学毕业（college graduate）等）字符型婚姻状况，已婚（Married），单身（Single），离婚（Divorced），未知（Unknown）字符型。
2024-09-27 13:29:42
1059
原创 一、机器学习算法与实践_04信息论与决策树算法笔记
信息论是运用概率论与数理统计的方法，去研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科，熵（Entropy）是信息论中的一个重要概念，由克劳德·香农（Claude Shannon）提出，用于衡量信息的不确定性或系统的混乱程度在机器学习中，熵的概念被用来评估数据集的不纯度，进而指导决策树等算法的构建决策树是一种非常流行和好用的监督式学习算法，用于分类和回归任务，它通过从数据中学习决策规则来预测目标变量的值节点：代表一个特征或属性（分为根节点和子节点）分支。
2024-09-24 15:27:25
944
原创 一、机器学习算法与实践_03概率论与贝叶斯算法笔记
人工智能项目本质上是一个统计学项目，是通过对样本的分析，来评估/估计总体的情况，与数学知识相关联高等数学——> 模型优化概率论与数理统计——> 建模思想线性代数——> 高性能计算朴素贝叶斯分类器：基于贝叶斯定理，使用概率来预测数据点的类别逻辑回归：虽然通常被视为线性分类器，但它本质上是一个概率模型，输出的是数据点属于某个类别的概率隐马尔可夫模型（HMMs）：使用概率来描述状态转换和观测序列所以，我们需要先了解概率论相关基础知识，为下面理解贝叶斯算法原理打下基础。
2024-09-20 21:24:17
2427
原创 一、机器学习算法与实践_02KNN算法笔记
KNN（K-NearestNeighbor，即：K最邻近算法）是一种基于实例的学习方法，用于分类和回归任务，它通过查找一个数据点的最近邻居来预测该数据点的标签或数值。所谓K最近邻，就是K个最近的邻居，即：每个样本都可以用它最接近的K个邻近值来代表在本文第四章节的KNN算法实践中，用的都是sklearn库中的标准模块和函数，为了理解其中的实现原理，以及学习如何自定义一个机器学习算法，本章节将以分类和回归两个任务来展现KNN算法的自定义流程（其实就是全面模仿sklearn）
2024-09-14 13:16:58
1584
原创 一、机器学习算法与实践_01基本概念与项目流程笔记
传统算法和机器学习算法各有优势和适用场景：传统算法在规则明确、结构化的问题上表现良好，而机器学习算法在处理复杂、非结构化数据和需要自适应学习的场景中表现出色。在实际应用中，两者往往可以结合使用，以发挥各自的优势。
2024-09-14 13:15:48
2316
原创 mysql基础语法——个人笔记
以前学习且实践过mysql，但后来用得少，随着岁月更替，对其印象渐浅，所以每次需要用时，都会去再看一眼语法规范，然后才能放心动手操作然而，在信息爆炸的时代，查语法规范时，检索出来的资料总是五花八门，有时需要看好几篇资料，才能汇总得出完整的、准确的、符合自己语言习惯的信息，这一过程费时费力。
2024-08-31 16:34:42
3548
原创 XSS、CSRF/XSRF、CORS介绍
XSS、CSRF/XSRF、CORS介绍1 XSS1.1 名词解释1.2 作用原理1.3 防范措施2 CSRF/XSRF2.1 名词解释2.2 作用原理2.3 防范措施2.3.1 验证码2.3.2 Referer Check2.3.3 添加 token 验证(token==令牌)3 CORS3.1 名词解释1 XSS1.1 名词解释XSS，即：Cross Site Script，中译是跨站脚本攻击；其原本缩写是 CSS，但为了和网站前端技术领域——层叠样式表(Cascading Style Sheet
2021-03-24 21:56:50
1404
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人