自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(15)
  • 收藏
  • 关注

原创 VIT与多模态

模型全称: Vision Transformer (ViT),即视觉领域的Transformer核心思想: 将NLP界的Transformer架构迁移到视觉领域使用创新点: 首次证明图片可以被离散化为token进行处理课程结构: 共13节课,总时长约20小时学习周期: 建议15-20天完成(按每天学习4小时计算)学习要求: 必须亲自实践代码,仅听课无法掌握。

2026-04-05 22:50:15 419

原创 大语言模型LLM

生成特点:推理阶段采用自回归方式逐token生成计算模式:每个新token需要与之前所有token计算注意力典型场景:如生成"start→我→爱→你"时需进行4次渐进式计算MHA特点:需要存储所有token的KV值,显存压力大计算公式:MQA改进:只存储一个token的KV值,所有head共享显存消耗降低为原来的1/N(N为token数量)存储原理:传统方法:直接存储KV矩阵MLA方法:存储低维矩阵。

2026-04-04 18:26:45 346

原创 文字生成任务,大模型基础

这个机字我是希望你通过这个encoder的,这输出的特征来推出来的,它通过self attention架构的时候,它本身就可以看到这个第二个字是鸡字,他直接把这个字输出就行了,他不需要看其他任何东西,准确率100%。可以实现并行,我直接把label全部拿过来,机器学三个字,前面加个start就可以当做decoder的输入,直接输入进去,得到所有的输出。他是要去看别人所有人的特征的,他看了这个机字,看了气字,看了学字,然后。我们不能让我的start第一个token看见后边的字,我这个机字输入的时候。

2026-04-02 12:47:33 246

原创 Bert情感分类实战

1.定义MyBERTModel类,继承自nn.Module。2.初始化方法中加载预训练的BERT模型和分类头。3.forward方法定义数据通过模型的处理流程。

2026-04-02 00:05:23 326

原创 自然语言处理与bert

self attention又被称为自注意力机制,是现在运用最广的一种机制啊,通常被用于nlp里边,也就是,nature language process自然语言处理当中,包括现在最为流行的大模型,各种各样的大模型基本上都是基于自注意力机制的。

2026-03-26 19:32:26 43

原创 半监督和无监督学习

虽然没有标签但知道这个是假的,另一个是真的,这样判别器就可以进行简单的分类训练,判别器能力越来越强,带着生成器能力一起提升(因为目的是骗过判别器),准确率上升促使判别器成长,同时也推动生成器成长,因为在其看来准确率要越多越好,故称为。用预训练的模型(准确率较好的模型)对无标签数据进行预测,并通过设定置信度阈值(如向量y'的某一个值超过0.99),将预测结果作为标签加入训练集,转化为有标签数据。人类学习时,大概知道猫和狗不是一类的,猫和猫,狗和狗是一类的。,可以训练出两个不错的模型用来提取图片的特征。

2026-03-26 00:08:03 74

原创 图像 分类

图片输入被转换为3*224*224的矩阵,每经过一个卷积核,得到一个224*224的特征图,(卷积核个数为5)将5张特征图和合到一块,得到一张新的5*224*224的特征图(深度为5),之后可用这张新的特征图继续去卷积。使用独热编码来表示类别,通过输出一组向量,y'的每一行表示为相应类别的概率,如为狗的概率为0,为猫的概率为0.953,最大值即为该类,所以最后输出只需Linear(x,类别数)将特征图的2*2的4个数用一个数代替,即为池化,最大池化用的最多,适应平均池化是直接把224*224变为7*7。

2026-03-24 00:01:37 49

原创 初识神经网络代码

神经网络项目一般分为以下3个模块,数据处理,模型搭建,参数设置。

2026-03-15 23:34:26 36

原创 机器学习和深度学习基础

人工智能:能够感知、推理、行动和适应的程序。机器学习:能够随着数据量的不断增加不断改进性能的算法。深度学习:机器学习的一个子集;利用多层神经网络从大量数据中进行学习。一般是基于数学,或者统计学的方法,具有很强的可解释性。这里简述几个经典的传统机器学习算法。KNN, 决策树,朴素贝叶斯1-①、KNN:k最近邻居(K-Nearesst Neighbors,简称KNN)一种监督(#监督:是指你的数据有没有标签)学习算法,用于分类和回归问题。它的基本思想是通过测量不同数据点。

2026-03-12 23:50:02 331

原创 代码随想录Day6二叉树(一)

最小深度是从根节点到最近叶子节点的最短路径上的节点数量。的顺序即可,因为要返回数组,需要构造并插入节点值。是指从根节点到最远叶子节点的最长路径上的节点数。层序遍历要求返回二维数组,故可递归来实现。给出一个完全二叉树,求出该树的节点个数。,翻转这棵二叉树,并返回其根节点。给定一个二叉树,找出其最小深度。叶子节点是指没有子节点的节点。给你一棵二叉树的根节点。给你一个二叉树的根节点。, 检查它是否轴对称。

2026-02-10 01:34:01 356

原创 代码随想录Day5栈与队列

给定一个数组 nums,有一个大小为 k 的滑动窗口从数组的最左侧移动到数组的最右侧。第三种情况:遍历字符串匹配的过程中,栈已经为空了,没有匹配的字符了,说明右括号没有找到对应的左括号return false。第一种情况:已经遍历完了字符串,但是栈不为空,说明有相应的左括号没有右括号来匹配,所以return false。给定一个只包括 '(',')','{','}','[',']' 的字符串,判断字符串是否有效。那么什么时候说明左括号和右括号全都匹配了呢,就是字符串遍历完之后,栈是空的,就说明全都匹配了。

2026-02-04 00:24:16 491

原创 代码随想录Day4字符串

给定一个字符串 s 和一个整数 k,从字符串开头算起, 每计数至 2k 个字符,就反转这 2k 个字符中的前 k 个字符。如果剩余字符小于 2k 但大于或等于 k 个,则反转前 k 个字符,其余字符保持原样。本题用到上题的reverse函数,因为要每2k个字符反转前k个字符,故for循环的间隔要改变一下。解释: 如果两个单词间有多余的空格,将反转后单词间的空格减少到只含一个。输入:["h","e","l","l","o"]输出:["o","l","l","e","h"]输出: "bacdfeg"

2026-01-25 01:24:56 319

原创 代码随想录Day3哈希表

给定一个赎金信 (ransom) 字符串和一个杂志(magazine)字符串,判断第一个字符串 ransom 能不能由第二个字符串 magazines 里面的字符构成。给定一个整数数组 nums 和一个目标值 target,请你在该数组中找出和为目标值的那 两个 整数,并返回他们的数组下标。给定四个包含整数的数组 A , B , C , D ,计算有多少组 (i, j, k, l) ,使得 A[i] + B[j] + C[k] + D[l] = 0。给定两个数组,编写一个函数来计算它们的交集。

2026-01-21 02:10:20 79

原创 代码随想录Day2链表

暂无。

2026-01-15 13:27:38 522

原创 代码随想录Day1数组

/创建大小为numsSize的动态数组result。//将函数所返回的数组指针赋给result(将数组显化)printf("%d ", result[i]);//可以通过result[i]的方式来访问数组元素。//返回数组指针,指向数组起始位置。

2026-01-15 13:14:07 579

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除