<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Xyz_Overlord的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Xyz_Overlord</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Xyz_Overlord]]></copyright><item><title><![CDATA[大模型微调——Prompt-Tuning]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/150012144</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/150012144</guid><author>Xyz_Overlord</author><pubDate>Fri, 19 Sep 2025 15:00:20 +0800</pubDate><description><![CDATA[Prompt-Tuning是一种针对超大规模参数模型的微调方法，通过设计合适的模板或指令（Prompt）来引导模型完成特定任务，而无需对模型所有参数进行微调。对于参数量超过10亿的模型，Prompt-Tuning的增益通常高于标准Fine-tuning。通过添加模板的方法来避免引入额外的参数，从而让模型可以在小样本（few-shot）或者零样本（zero-shot）场景下达到理想的效果。prompt-tuning执行步骤：1.构建模版(Template)；2.标签词映射(3.训练。]]></description><category></category></item><item><title><![CDATA[模型压缩技术深度解析：量化、蒸馏与剪枝]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149947095</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149947095</guid><author>Xyz_Overlord</author><pubDate>Fri, 19 Sep 2025 14:59:53 +0800</pubDate><description><![CDATA[模型压缩技术已成为深度学习实际应用的关键使能器。量化、蒸馏和剪枝作为三大支柱技术，各有特点又相辅相成。实际应用中，工程师需要根据目标硬件、性能需求和开发周期选择合适策略或组合。随着边缘计算和物联网发展，模型压缩将继续扮演重要角色，推动AI向更高效、更普惠的方向发展。]]></description><category></category></item><item><title><![CDATA[NLP——BERT模型全面解析：从基础架构到优化演进]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149945611</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149945611</guid><author>Xyz_Overlord</author><pubDate>Tue, 05 Aug 2025 21:21:17 +0800</pubDate><description><![CDATA[BERT(Bidirectional Encoder Representations from Transformers)是由Google研究团队在2018年提出的一种基于Transformer架构的预训练语言模型，其全称为"来自Transformer的双向编码器表示"。这一革命性模型的问世，标志着自然语言处理(NLP)领域进入了一个全新的时代，极大地推动了语言理解技术的发展。在BERT出现之前，主流的语言模型如ELMo和GPT-1虽然也取得了不错的效果，但都存在明显的局限性。]]></description><category></category></item><item><title><![CDATA[大模型LLM介绍]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149913310</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149913310</guid><author>Xyz_Overlord</author><pubDate>Mon, 04 Aug 2025 20:57:59 +0800</pubDate><description><![CDATA[(英文：Large Language Model，缩写LLM)大型语言模型是一种基于深度学习的人工智能系统，通过分析海量文本数据学习语言模式、世界知识和推理能力。这些模型通常包含数十亿甚至数千亿个参数，能够生成类似人类的文本、回答问题、翻译语言以及执行各种与语言相关的任务。]]></description><category></category></item><item><title><![CDATA[NLP——Transformer]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149422738</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149422738</guid><author>Xyz_Overlord</author><pubDate>Sat, 02 Aug 2025 08:30:13 +0800</pubDate><description><![CDATA[传入数据经过线性变换得到[2,4,512]，通过view函数切8个头得到[2,4,8,64]，通过transpose交换1和2位置得到[2,8,4,64]，再经过注意力机制函数得到[2,8,4,64]，再次使用transpose交换得到[2,4,8,64]，最后通过view函数合并多头得到[2,4,512]送入下一线性变化。上图就是构造的一个残差块，X是输入值，F（X）是经过第一层线性变换后并且激活的输出，在第二层线性变化之后，激活之前，F（X）加入了这一层输入值X，然后再进行激活后输出。]]></description><category></category></item><item><title><![CDATA[LLM概念和主要类别架构(更新)]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149840791</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149840791</guid><author>Xyz_Overlord</author><pubDate>Fri, 01 Aug 2025 20:05:42 +0800</pubDate><description><![CDATA[本文系统梳理了语言模型的发展历程与技术特点。首先概述了语言模型的四个发展阶段：从早期的基于规则和统计的N-gram模型，到神经网络语言模型，再到预训练语言模型（BERT、GPT等），最后演变为当前的大语言模型。其次详细分析了三类主流模型架构：自编码模型（如BERT）通过掩码语言建模理解上下文；自回归模型（如GPT）采用单向解码结构擅长文本生成；序列到序列模型（如T5）则结合编码器-解码器完成转换任务。文章还探讨了不同模型的核心参数、预训练任务、适用场景及优缺点，并针对双向注意力的低秩问题提出了解决方案。]]></description><category></category></item><item><title><![CDATA[GIT操作指南]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149547320</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149547320</guid><author>Xyz_Overlord</author><pubDate>Thu, 24 Jul 2025 01:15:37 +0800</pubDate><description><![CDATA[在文件中构建 .git 库，其余部分是工作区。]]></description><category></category></item><item><title><![CDATA[NLP——迁移学习]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149306249</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/149306249</guid><author>Xyz_Overlord</author><pubDate>Thu, 17 Jul 2025 11:02:58 +0800</pubDate><description><![CDATA[作为NLP工程领域常用的工具包, fasttext有两大作用:① 进行文本分类② 训练词向量概念：文本分类的是将文档（例如电子邮件，帖子，文本消息，产品评论等）分配给一个或多个类别. 当今文本分类的实现多是使用机器学习方法从训练数据中提取分类规则以进行分类, 因此构建文本分类器需要带标签的数据。Huggingface Transformers 是基于一个开源基于 transformer 模型结构提供的预训练语言库。它支持 Pytorch，Tensorflow2.0，并且支持两个框架的相互转换。]]></description><category></category></item><item><title><![CDATA[NLP——LSTM和GRU以及注意力机制]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148977806</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148977806</guid><author>Xyz_Overlord</author><pubDate>Tue, 01 Jul 2025 21:23:10 +0800</pubDate><description><![CDATA[LSTMLSTM。]]></description><category></category></item><item><title><![CDATA[ NLP——RNN传统模型]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148973522</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148973522</guid><author>Xyz_Overlord</author><pubDate>Sat, 28 Jun 2025 15:57:41 +0800</pubDate><description><![CDATA[注意：下面各项参数的顺序）第一个参数：input_size(输入张量x的维度)第二个参数：hidden_size(隐藏层的维度， 隐藏层的神经元个数)第三个参数：num_layer(隐藏层的数量)]]></description><category></category></item><item><title><![CDATA[NLP——文本预处理（下）]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148919482</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148919482</guid><author>Xyz_Overlord</author><pubDate>Sat, 28 Jun 2025 10:26:57 +0800</pubDate><description><![CDATA[1. 定义一个list，接受形容词列表# 2. 分词# 3.遍历分词结果，过滤掉非形容词# 1.构建一个WordCloud对象# 2. 把形容词列表转换成以空格分割的字符串# 3. 获取word_cloud产生的图像# 4. 使用plt展示词云plt.show()增加样本量和多样性，对数据集进行过采样。基于各种翻译接口，将文本数据翻译成另外一种语言，之后再翻译回原语言，得到新语料，完成对原数据集数据增强。]]></description><category></category></item><item><title><![CDATA[NLP——文本预处理（上）]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148879208</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148879208</guid><author>Xyz_Overlord</author><pubDate>Thu, 26 Jun 2025 11:16:47 +0800</pubDate><description><![CDATA[文本预处理是自然语言处理（NLP）任务中的关键步骤，旨在将原始文本数据转换为适合机器学习或深度学习模型处理的结构化、干净、标准化的形式。由于自然语言具有噪声（如拼写错误、特殊符号、非结构化格式等），预处理能显著提升模型的性能和鲁棒性。]]></description><category></category></item><item><title><![CDATA[自然语言处理入门]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148879004</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148879004</guid><author>Xyz_Overlord</author><pubDate>Tue, 24 Jun 2025 20:39:13 +0800</pubDate><description><![CDATA[Word2Vec推动词嵌入技术，深度学习进入NLP。]]></description><category></category></item><item><title><![CDATA[循环神经网络RNN]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148774046</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148774046</guid><author>Xyz_Overlord</author><pubDate>Thu, 19 Jun 2025 20:15:23 +0800</pubDate><description><![CDATA[主要是通过计算机算法来理解自然语言。NLP涵盖了从文本到语音、从语音到文本的各个方面，它涉及多种技术，包括语法分析、语义理解、情感分析、机器翻译等。]]></description><category></category></item><item><title><![CDATA[卷积神经网络CNN]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148722613</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148722613</guid><author>Xyz_Overlord</author><pubDate>Thu, 19 Jun 2025 19:46:13 +0800</pubDate><description><![CDATA[概念：包含卷积层和池化层的神经网络计算模型。组成：输入层、卷积层、激励层、池化层、全连接层。其中输入层需要输入图、视频、音频；卷积层用于提取图像特征；激励层用于激活函数；池化层用于降低卷积层特征图维度；全连接层数据是二维数据集，一张图像是1个一维向量, 有多少个值就是有多少个像素点(C*H*W)。应用于：图像分类、目标检测、面部解锁、自动驾驶等领域。]]></description><category></category></item><item><title><![CDATA[神经网络基础]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148641230</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148641230</guid><author>Xyz_Overlord</author><pubDate>Mon, 16 Jun 2025 20:17:42 +0800</pubDate><description><![CDATA[神经网络是深度学习计算模型，仿生生物学神经元构造。]]></description><category></category></item><item><title><![CDATA[Pytorch框架——自动微分和反向传播]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148621460</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148621460</guid><author>Xyz_Overlord</author><pubDate>Fri, 13 Jun 2025 21:01:54 +0800</pubDate><description><![CDATA[自动微分（Automatic Differentiation，AD）是一种利用计算机程序自动计算函数导数的技术，它是机器学习和优化算法中的核心工具（如神经网络的梯度下降）。计算梯度的目的是更新权重w和b，，其中value是梯度值，学习率需要提前指定，求导计算梯度，前面我们学过了手动求导，这次使用自动微分的方法，来简化我们的工作量。注意：1. w和b一定是可自动微分的张量，类型是浮点型，超参数requries_grad=Ture表示允许自动微分。]]></description><category></category></item><item><title><![CDATA[深度学习——pytorch框架 ]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148567551</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148567551</guid><author>Xyz_Overlord</author><pubDate>Fri, 13 Jun 2025 00:31:25 +0800</pubDate><description><![CDATA[创建张量、转换、张量索引、形状、升降维、交换维度、拼接]]></description><category></category></item><item><title><![CDATA[深度学习——简介]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148566944</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148566944</guid><author>Xyz_Overlord</author><pubDate>Tue, 10 Jun 2025 20:24:42 +0800</pubDate><description><![CDATA[所有深度学习都是机器学习，但并非所有机器学习都是深度学习。在深度学习的过程中，每一层神经网络都对输入数据进行处理，从而学习到数据中的特征和模式。深度学习的关键之一是“反向传播”算法，它通过计算损失函数（即实际输出与期望输出之间的差异）并将这种误差反馈回网络的每一层，来调整每层的权重。深度学习的一个重要的概念是“特征学习”，这意味着深度学习模型能够自动发现和利用数据中的有用特征，而无需人工介入。深度学习的成功依赖于大量的数据和强大的计算能力。]]></description><category></category></item><item><title><![CDATA[机器学习——聚类算法]]></title><link>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148409772</link><guid>https://blog.youkuaiyun.com/Xyz_Overlord/article/details/148409772</guid><author>Xyz_Overlord</author><pubDate>Tue, 03 Jun 2025 21:27:51 +0800</pubDate><description><![CDATA[根据样本之间的相似性，将样本划分到不同的类别中的一种无监督学习算法。细节：根据样本之间的相似性，将样本划分到不同的类别中；不同的相似度计算方法，会得到不同的聚类结果，常用的相似度计算方法有欧式距离法。聚类算法的目的是在没有先验知识的情况下，自动发现数据集中的内在结构和模式。计算样本和样本之间的相似性，一般使用欧式距离。]]></description><category></category></item></channel></rss>