- 博客(27)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 十四、大语言模型RAG
通过论文《LANGUAGE MODELS REPRESENT SPACE AND TIME》可以证明模型学习到的是真实世界，主要实现思路就是准备一些真实世界实体词及其属性表述相关的语料（例如国家-经纬度），通过大模型生成这些实体词的特征向量，然后用这些特征向量去训练一个浅层模型；被称为检索增强生成，其目的是为了加强大模型针对特定垂直领域的推理回答能力，大概的实现思路就是会给大模型准备一个特定领域的知识库，大模型会参考知识库做出对应的推理回答。概述：目前大模型中一种重要的开发方向就是文本生成图片/视频，
2026-03-16 12:12:03
466
原创 十三、大语言模型微调
简单的来讲就是在模型最推理过程中的self-attention时，缓存下k*v的矩阵，然后每次新的token进来只需要在这个缓存的矩阵上拼接更新就行，避免了许多重复的计算，加快了推理的过程。:该微调方式是对不同的任务加上对应的虚拟token,然后在大模型的embedding层中加入这些虚拟token的向量，在真正进行训练过程中只更新这些token对应的embedding层向量。：在大模型的前面加上一个小网络层结构(小模型)，训练时让数据先过这个小模型，在过这个大模型，最终权重的更新只更新前面那个小模型。
2026-03-10 21:46:41
505
原创 十二、大模型相关内容(二)
架构 混合专家模式：该架构主要特点是会在MLP层准备多个FFW，每一个toke选取一个FFW，将最后将所有的结果做乘积合在一起，这种架构的好处是可以使得模型能够获取到更多类型的文本特征，提高了模型的泛化能力，同时需要注意的是不能让每个FFW过载，一般会设置每个FFW的处理token的限制数量。位置编码：该编码方式是记录字符之间的相对位置，将这些位置信息在做self-attention时加入到模型中，是的模型具备其语序信息；结构，该种位置编码方式可学习性，但是相应的缺少了长度外推的能力。
2026-03-08 15:24:16
426
原创 十一、大模型相关内容（一）
矩阵的构建：这方面需要重点注意，因为我们会有两个mask矩阵，需要将这两个mask矩阵融合之后才能带入模型中，其中第一个矩阵是我们tokenizer做文本序列化时做了补全、截断操作，有些补全的位置是不参与计算的，而这个mask就是确定哪些是padding位，哪些是参与计算的位置；Ernie-Baidu:主要模型结构还是使用的Bert,区别是在预训练的过程中采用了不同的训练方式以达到知识增强的效果，实现细节是在训练预测遮盖的mask不在是完全的随机而是集中在命名实体、短语、语义单元等为主；
2026-03-04 10:20:15
397
原创 十、生成式任务
说明：对于生成式任务又被称之为 seq2seq任务，对于预测生成的y没有范围限定，并且模型输入与输出的长度允许不一样，此类任务主要应用于图像补全、语音合成、文本翻译等方面。对于前沿研究部分理论上所有的自然语言处理任务都可以被转换成生成任务来处理，当前GPT、Deepseek等大预言模型也是以生成式任务为主。
2026-03-02 07:43:52
606
原创 九、序列标注任务
概述：序列标注任务本质上就是对文本序列中每个时间步进行标注分类，常见的应用包括：分词、词性分析、句法分析等。其中针对每个时间步的分类标注主要是按照分词的标准进行分类，例如：将一个词中每个字归类为词边界、词内部、以及单字，这样细节的标注能够让模型学到更多信息，使得模型的效果更好。
2026-03-01 10:16:14
643
原创 八、文本匹配任务
以上两种实现方式各有优缺点，表示型是计算快速适合大规模检索，但同样也无法突出文本的重要度，因为没有对比；交互型是将提出问题与标准相似问拼接在一起送入模型直接预测出分数，这种方式能够更加全面的抓住问题的关键信息使得更加准确的找到标准答案，但同样也存在计算速度过慢的问题；所以在具体文本匹配工业任务中一般是表示型+交互型结合的方式一起使用，表示型筛选出Top100,交互型对这个Top100进行预测。
2026-03-01 07:24:17
635
原创 七、文本分类任务
故而出现了Stack-Gated-CNN网络结构，该结构实在每一层都单独设置一个独立的门控机制，也就是每一层是一个独立的Gated-CNN，每一层都是不同的卷积核，所以如果有n层结构，最后则会得到n个特征矩阵，如果要做文本分类任务则需要将这个n个特征矩阵加和求平均得到向量矩阵，做之后的分类任务。说明：LSTM属于是对RNN的优化，在传统的RNN结构中确实可以很好的保留语句的语序信息，但是同样的也会遗忘掉语言中的一些信息，类似你在一张纸上重复的写内容100次，到最后第一次写的什么就不清楚了；
2026-02-26 13:06:22
600
原创 六、常规语言模型以及预训练语言模型
说明：在日常的语言使用中，其中使用的语言都是存在一定的规律的，只有符合一定规律的自组合在一起才能形成一句合理的话，而语言模型的作用本质上的作用就是在判断一句话的是否合理（即计算语句的成句概率）。
2026-02-15 14:46:08
664
原创 五、NLP基础-词向量
往期的 TF-IDF算法只能够反应词的重要性，但是不能反应词之间的相似性，进而催生出了训练词向量的概念。历史采用生成词向量的方法一般是通过 one-hot编码，也就是每个词所表示向量的长度是词表长度，这样做的缺点是维度过大、计算压力过大（维度灾难），以及也无法展示词之间的相似性。可以展示出词之间的相似性，通过向量夹角余弦值不管词的多少，向量的维度都不会变向量之间的数值计算可以反应出词之间的关联性，数值含有一定的语义信息Embedding Word:是词向量的一种初始化方式。
2026-02-13 15:16:51
615
原创 四、NLP基础分词
如没有匹配上则将窗口长度缩减一个长度，在进行匹配，若能够匹配上则该窗口的词并将窗口的开始位置滑动至匹配上词的下一个字位置（注意下一个滑动窗口的长度还是最长词的长度），若匹配不上继续减一直至最后窗口长度为1，则记录单字词并记录，将窗口开始位置滑动至匹配上词的下一个字位置，直至待分词句子走完。说明：jieba分词是目前常用的分词方式，它的分词逻辑是全切分，即将一个句话的所有切分方式都的出来，然后词表中热点词判断出所有切分方式中的最优解，含有热点词多的切分方式即为最优解。
2026-02-11 16:13:30
588
原创 二、机器学习基本原理
标量：标量也就是一个单独的数向量：类似[1,2,3,4]被称之为向量，是一列数；其中可以进行的运算有加法运算以及向量之间做内积张量：张量是Pytoch框架中通用的数据类型，类似矩阵之类的数据，都必须转换为张量才能输入Pytorch框架中以供模型进行训练矩阵:矩阵是一组具有行列的数列，其中最重要的运算法则是矩阵乘法满足结合律以及分配律导数：通俗的理解是导数是对应函数在某一点上的变化趋势,
2026-02-02 14:22:33
372
原创 一、AI Agent初步认识以及手写React Agent
目前在商业应用落地中工作流智能体更加成熟，因为其更加稳定可控；但是自主智能体更先进，是技术前景需要更深的技术探索关于AI Agent 智能体的上述两种类型并不是对立的，而是优势互补共同存在的，在一个复杂的商业系统中需要需要将两者结合使用。
2026-01-30 14:29:20
781
原创 二、Spring-AOP
概述：动态代理类的字节码是在程序运行期间，通过反射动态生成的，可以根据需要动态生成代理对象。概述：动态代理类的字节码是在程序运行期间，通过反射动态生成的，可以根据需要动态生成代理对象。概述：为某个对象提供代理类，用来控制对这个对象的访问，委托类与代理类有一个共同的父类或父接口，代理类会对请求做预处理、过滤，将请求分配给指定对象。概述：为某个对象提供代理类，用来控制对这个对象的访问，委托类与代理类有一个共同的父类或父接口，代理类会对请求做预处理、过滤，将请求分配给指定对象。
2023-05-11 22:06:58
176
原创 PHP初识-基础语法
本章节主要介绍PHP基础语法，PHP的编译软件，及环境的配置可自行参考网上其他配置。文章目录前言一、PHP标记风格1.XML风格2.脚本风格3.简洁风格4.ASP风格二、变量1.变量的赋值2.系统变量三、常量1.系统常量四、数据类型1.数据类型检测2.数据类型检测五、数操作运算符1.算术运算符2.比较运算符3.逻辑运算符4.位运算符总结前言PHP是当前最流行的网站搭建语言之一,这门语言语法较为简单，学习这门编程语言能够帮你快速入门编程，并增加自己的学习信心。学习完PHP可以自己开发一些中小型的网站
2022-01-13 14:25:44
236
原创 WEB安全基础入门-概念名词
本文章主要对WEB安全的基本入门做一个系统的概述及基本认识！1、域名域名即与IP地址一一对应的名称，网上有多个注册域名的网站如万网注册域名。在域名中www.为顶级域名，其后为多级域名，在WEB安全中对多级域名的收集尤为重要，因为在打开一个网站的主网页时可能并不能发现什么漏洞，但是对它子域名所在的网页渗透时就可能存在漏洞，并且可能对整个网站也造成影响。简单来说，对多级域名的收集就是让你在渗透时有了更多的看可能。2、DNS域名系统服务协议DNS主要就是用于确定域名与IP之间一一对应的关系。在这
2022-01-09 12:44:26
2689
原创 初识Web安全——HTML,CSS点击劫持
初识Web安全——HTML,CSS点击劫持 本文主要介绍HTML,CSS存在的一个简单漏洞。在前端语言中单纯的HTML,CSS，JS存在的漏洞是非常少的，只有当这些前端语言混合在一起使用时才会产生很多的漏洞，下面就是介绍的HTML,CSS混合在一起使用时存在的一个漏洞。 所谓点击劫持，简单的来讲就是你打开一个网页你当前点击的内容与你在网页上看都的内容不相符。具体理解看下方代码：<!DOCTYPE html><html lang="en"><head>
2021-07-30 15:08:03
512
空空如也
PlotlyRequestError: Bad API key
2021-07-21
TA创建的收藏夹 TA关注的收藏夹
TA关注的人