- 博客(237)
- 资源 (1)
- 收藏
- 关注
原创 【Tensor】Low-Rank Tensor Constrained Multiview Subspace Clustering
在子空间聚类(Subspace Clustering)中,XZ是一个关键的概念,表示数据矩阵X和子空间表示矩阵Z的乘积。1. 子空间表示矩阵Z的作用Z是一个N×NN \times NN×N的矩阵(N 是样本数量),表示样本之间的线性关系。每个元素ZijZ_{ij}Zij表示样本iii和样本jjj之间的相似性或连接权重。Z捕捉数据的子空间结构,即每个样本可以用其他样本的线性组合来表示。2. 数据矩阵X的作用X是一个d×Nd \times Nd×N。
2025-03-09 13:07:33
919
原创 【LLM】KV Cache
KV Cache通过缓存中间结果,优化了Transformer模型的推理过程,提升了生成任务的效率,尤其在处理长序列时效果显著。KV Cache主要用于自注意力(Self-Attention)中,而不是交叉注意力(Cross-Attention)KV Cache 主要用于自注意力,而不是交叉注意力。在自注意力中,KV Cache 通过缓存之前 token 的 K 和 V,避免重复计算,从而提高推理效率。在交叉注意力中,由于编码器的输出是固定的,KV Cache 的优化作用较小。
2025-03-09 13:03:55
981
原创 【LLM】从零开始实现 LLaMA3
在这里,我们不会实现一个 BPE 分词器(但 Andrej Karpathy 有一个非常简洁的实现)。BPE(Byte Pair Encoding,字节对编码)是一种数据压缩算法,也被用于自然语言处理中的分词方法。它通过逐步将常见的字符或子词组合成更长的词元(tokens),从而有效地表示文本中的词汇。:首先,将所有词汇表中的单词分解为单个字符或符号。例如,单词 “hello” 会被表示为。:接下来,统计所有字符对(相邻字符组合)的出现频率。
2025-03-04 14:01:36
1382
原创 【LLM】Group Query Attention (GQA)
在 Transformer 模型中,注意力机制的计算开销很大,尤其是当序列长度和模型规模增加时。Group Query Attention (GQA) 是一种改进的注意力机制,旨在。的方式,减少了计算量,同时尽量保留了模型的表达能力。这样,既减少了计算量,又保留了不同注意力头的多样性。
2025-02-04 09:00:00
995
原创 【LLM】Rejection Sampling
Rejection Sampling 是一种从复杂分布中生成样本的方法。有时候,我们无法直接从目标分布中采样(比如目标分布的形式太复杂)。这时,我们可以用一个简单的分布来生成样本,然后通过规则筛选出符合目标分布的样本。假设我们有一个奇怪的形状(比如一个山峰),我们想从这个形状中随机撒点。但直接撒点很困难,于是我们用一个简单的矩形来覆盖这个山峰,然后在矩形内随机撒点。如果点落在山峰内,就接受;否则就拒绝。选择一个简单的分布qx(比如均匀分布),用它来生成样本。
2025-02-04 09:00:00
731
原创 【LLM】Layer Norm 和 RMS Norm 的区别?
Layer Norm 对每个样本在特征维度上进行归一化,计算均值和方差,并对输入进行缩放和平移。
2025-02-03 09:00:00
1832
原创 【LLM】旋转位置编码 RoPE
将词向量的每一维根据其位置进行变换,从而让模型能够感知到词的位置信息。通过这种方式,词向量的每一维都会根据位置进行旋转,从而融入位置信息。(比如 Sinusoidal 位置编码),但它可能无法很好地捕捉。这个矩阵的作用是对词向量的每一对维度进行旋转。在 Transformer 模型中,词与词之间的。的方式,能够更好地建模词与词之间的相对位置关系。,我们将它分成两部分,每部分的维度是。其中, \theta 是与位置相关的角度。假设我们有一个二维的词向量。具体来说,对于每一对。旋转位置编码是一种将。
2025-02-03 09:00:00
1120
原创 【Transformer】手撕Attention
这段代码实现了一个完整的多头注意力机制,包括线性变换、缩放点积注意力、掩码处理、softmax归一化、多头结果的合并和最终的线性变换。多头注意力机制是Transformer模型的核心组件,广泛应用于自然语言处理、计算机视觉等领域。这段代码实现了一个层归一化(Layer Normalization)模块层归一化是深度学习中常用的一种归一化技术,用于稳定训练过程并加速收敛。
2025-02-01 09:00:00
1016
原创 【MISC】集对分析法 (SPA)
集对分析法(Set Pair Analysis,简称SPA)是一种用于处理不确定性和模糊性问题的分析方法。它。SPA特别适用于解决那些具有多重不确定性和复杂关系的系统问题,广泛应用于管理学、工程学、经济学等领域。具体来说,集对分析法通过引入“集对”这一概念,来刻画不同对象之间的关系。每一对集合都会通过一组对比指标来表示其,常见的对比指标包括一致性、对立性和不确定性。集对分析法的优势在于其灵活性和能够处理不确定性和复杂关系的能力。
2025-01-21 13:30:55
697
原创 【MISC】熵权法
熵权法是一种用于多属性决策分析中的加权方法,通常用于综合评估和选择最优方案。该方法基于信息熵的概念,。熵越大,表示该指标的信息量越分散,权重越低;熵越小,表示该指标的信息量集中,权重越高。熵权法能够有效避免人为赋权的主观性,提高权重分配的客观性,常用于评价和决策分析中。
2025-01-21 13:30:23
950
原创 【python 基础】Python数据类型 & Python 整型数据类型
当变量的值发生变化时,变量指向的数据的类型会发生变化。函数查看数据类型,可以查看变量、字面量或常量的数据类型。)具有动态大小,内存占用随数值的大小增加。),可以将整数表示为十六进制、八进制和二进制。可以查看一个整数占用的内存字节数。Python中的整数类型(通过使用不同的前缀(
2025-01-20 10:27:40
623
原创 【python 基础】Python 格式化输出 & 加号的使用
推荐使用:f-strings(格式化字符串字面量)是最简洁的格式化方式,尤其适用于Python3.6及以上版本。format():较为灵活且适用于多个版本的Python,但代码稍显冗长。百分号操作符:是一种旧的格式化方法,适合一些简单需求,但不如其他两种方式灵活。
2025-01-20 10:26:54
632
原创 【python 基础】Python代码规范 & 变量基本原理
在Python编程中,遵循代码规范可以提高代码的可读性、可维护性。学会利用Python的官方文档,可以帮助开发者快速掌握语言特性和标准库,提升编程效率。变量:在编程中,变量就像是存储信息的容器。它可以存储数据,并允许程序访问、修改或操作这些数据。
2025-01-18 18:01:34
855
原创 【CLIP-LIT】Iterative Prompt Learning for Unsupervised Backlit Image Enhancement
我们提出了一种新颖的无监督逆光图像增强方法,简称为 CLIP-LIT,通过探索(CLIP)在像素级图像增强中的潜力。我们证明了开源的 CLIP 先验不仅可以区分逆光图像和光照良好的图像,还可以感知具有不同亮度的异质区域,从而促进增强网络的优化。与[[高层次图像操作]]任务不同,直接将 CLIP 应用于图像增强任务并不容易,原因在于。为了解决这个问题,我们设计了一种提示学习框架。
2025-01-15 20:48:14
830
原创 【CLIP-LIT】Iterative Prompt Learning for Unsupervised Backlit Image Enhancement
针对的问题:无监督逆光图像增强研究的方法:对比语言-图像预训练 “Contrastive Language-Image Pre-Training (CLIP)” (Liang 等, 2023, p. 8094) (pdf遇到的困难:很难找到准确的提示词用于图像增强任务解决的方法:开源的 CLIP 先验促进增强网络的优化可以区分逆光图像和光照良好的图像感知具有不同亮度的异质区域提示学习框架约束 “text-image similarity” (Liang 等, 2023, p. 8094。
2025-01-15 12:24:02
916
原创 【论文分享】U-Net: Convolutional Networks for Biomedical Image Segmentation
U-Net 是一种经典的卷积神经网络架构,最初由 Olaf Ronneberger 等人在 2015 年提出,用于生物医学图像分割任务。它具有对称的 “U” 形结构,适合。(Fully Convolutional Network, FCN),设计用于图像分割任务。x-y尺寸标注在框的左下角。白色框表示复制的特征图。箭头表示不同的操作。U-Net 的架构呈现对称的 “U” 形,由。下面通过步骤解释什么是 U-Net,以及它的构成和工作原理。U-net架构(以最低分辨率为32x32像素为例)。
2025-01-07 10:54:19
854
原创 【Tensor Computation for Data Analysis】Tensor Singular Value Thresholding(T-SVT)
张量奇异值阈值化(Tensor Singular Value Thresholding, TSVT)是基于 t-SVD 方法的。:沿着张量的第三维(时间或通道方向)对张量进行离散傅里叶变换(DFT),得到一个张量。问题,例如在图像修复、数据压缩或机器学习中的高维数据处理中。(沿着第三维进行)分解成多个矩阵的 SVD 结果的组合。(即每个傅里叶频率的矩阵)进行奇异值分解(SVD)。,去掉较小的奇异值,从而得到一个低秩的张量近似。在进行张量奇异值阈值化之前,需要理解。(张量奇异值阈值化)是。
2024-12-19 09:27:38
724
原创 【Tensor Computation for Data Analysis】T-SVD(Tensor Singular Value Decomposition)
T-SVD(Tensor Singular Value Decomposition)是针对三维张量的一种。
2024-12-19 09:26:24
1247
原创 【Tensor Computation for Data Analysis】1.5.4 t-Product
将傅里叶变换应用到张量上,可以将第三维的“循环卷积”简化为普通的矩阵乘法。的高效计算方式,用于张量操作,尤其适合处理有周期性或多维结构的数据。这一步将频域结果转换回原来的时间域,得到最终结果。t-product 的核心思想是借助。,同时对每一片“切片”进行了计算。是原切片经过傅里叶变换后的矩阵。将结果切片逆变换回原空间,得到。表示在频域中的张量。t-product 就是结合。它保留了第三维的深度。,它是频域中的张量。
2024-12-17 11:14:33
628
原创 【Tensor Computation for Data Analysis】1.4.1 Mode-n Unfolding
它将高阶张量(多维数组)沿某个模式(mode)展平成矩阵。通过这种展平,张量的多维结构可以在矩阵的形式下更容易处理,特别是在算法实现中,例如张量分解、主成分分析等。个维度的元素取出,展开为矩阵的行,而将其余维度展平为矩阵的列。个模式展平成一个矩阵的操作。展开后的矩阵可以表示为。
2024-12-17 11:13:41
785
原创 【论文分享】如何写一篇论文
标题的扩充覆盖文章的出发点、亮点、效果评估指标:evaluation metrics视觉效果:visual effects200字左右我们考虑了XX系统中的XX问题,利用XX方法/原理来进行研究,遇到了XX阻碍,用XX方法解决,达到XX的效果。注意与摘要的区别,重点在于已经完成了XXX未来的研究。
2024-12-12 09:53:06
271
原创 【机器学习导引】ch6-支持向量机
平稳性(Stationarity)∇fx∗α∗∇gx∗0∇fx∗α∗∇gx∗0这个条件说明,在最优解处,目标函数的梯度和约束的梯度通过拉格朗日乘子α∗\alpha^*α∗的加权和为零。原始问题可行性(Primal feasibility)gx∗≤0gx∗≤0该条件要求解x∗x∗必须满足原始问题的约束条件。对偶问题可行性(Dual feasibility)α∗≥0α∗≥0对偶变量α∗\alpha^*α。
2024-11-12 17:04:53
624
原创 【机器学习导引】ch4-决策树
信息熵的公式表示样本集合的无序程度,信息增益则衡量某个属性的划分能够降低多少无序程度。通常在决策树的构建中,会选择信息增益最大的属性进行划分。独立发生,它们的联合概率可以表示为各自概率的乘积,因此对应的总信息量就是各自信息量的和。过拟合是由于分类训练样本的分支过多导致模型在训练集上表现很好,但在实际应用中表现较差的现象。,信息增益越大,表示该属性能够更好地将数据分类,是决策树算法中选择最佳划分属性的依据。信息熵是衡量样本集合**“纯度”**的常用指标。即如果所有样本都属于同一类,则信息熵为。
2024-11-02 11:57:10
1098
原创 【机器学习导引】ch3-线性模型-2
梯度下降法是一种优化算法,目的是找到函数 $f(x)$ 的最小值。图中提到“如果能找到一个序列 $x_0, x_1, x_2, \dots$ ” ,使得每一步都满足:$f(x_{t+1}) < f(x_t)$这意味着每一步更新 $x$ 的时候,函数 $f(x)$ 的值都在下降,也就是朝着局部最小点的方向移动。
2024-10-10 11:02:18
963
原创 【计算机视觉】ch1-Introduction
透视投影中的四个坐标系逐级转换:首先,物体的位置由世界坐标系表示,然后转换到相机坐标系,再投影到图像平面坐标系,最后数字化为数字图像坐标系。这一过程是计算机视觉、摄影测量和图像分析等领域中理解和处理图像数据的关键步骤。图像物理坐标反映了图像在传感器上的实际物理位置,与相机的光学特性直接相关。图像像素坐标是数字图像处理中的常用坐标系统,用于在图像中定位特征点和执行各种图像操作。两者通过图像传感器的像素尺寸和坐标原点位置进行相互转换。
2024-10-01 13:07:52
1073
原创 【机器学习导引】ch3-线性模型
在数学中,对于函数 f(x1,…,xm)f(x_1, \ldots, x_m)f(x1,…,xm) 在点 a=(a1,…,am)a = (a_1, \ldots, a_m)a=(a1,…,am) 处的梯度被定义为:∇f(a)=(∂f∂x1(a),…,∂f∂xm(a))\nabla f(a) = \left( \frac{\partial f}{\partial x_1}(a), \ldots, \frac{\partial f}{\partial x_m}(a) \right)∇f(a)
2024-09-26 09:20:14
1157
1
原创 【机器学习导引】ch2-模型评估与选择
回归任务:常用 MSE、MAE、Huber 损失等。分类任务:常用交叉熵损失、Hinge 损失、Softmax 损失等。生成模型/概率测量:常用 KL 散度等。损失函数的选择取决于具体的任务类型、数据特性以及模型需求。错误率和精度是评估模型性能的两个基本指标。错误率衡量模型的错误预测比例,而精度则衡量模型的正确预测比例。两者之间的关系是互补的,精度等于111减去错误率。查准率衡量的是预测为正类的准确性。查全率衡量的是对所有正类样本的覆盖程度。F1值。
2024-09-12 21:00:43
694
1
原创 【吴恩达机器学习-week3】选做实验:逻辑回归&决策边界
将逻辑回归应用于肿瘤分类的分类数据示例。首先,加载示例和参数的初始值。让我们通过绘制其决策边界来尝试理解这个训练好的模型在预测什么。现在,让我们回到我们的例子,理解逻辑回归模型是如何进行预测的。的函数,它提供了一种便捷的方法来计算输入数组。让我们使用一个辅助函数来绘制这些数据。的数据点显示为红色叉号,而标签为。函数(也称为逻辑函数),其输出值在。),我们可以得出更复杂的非线性边界。函数的输入)是线性回归模型的输出。在逻辑回归的背景下探索了决策边界。如讲座视频中讨论的那样,对于。的数据点显示为蓝色圆圈。
2024-07-28 14:11:31
566
原创 【计算机毕业设计】基于微信小程序的传染病防控宣传系统【源码+lw+部署文档】
目录第一章 绪论1.1 研究背景1.2 研究意义1.3 研究内容第二章 开发环境与技术2.1 JSP技术2.2 MySQL数据库 2.3 Java语言2.4 微信开发者工具第三章 系统分析3.1可行性分析3.1.1运行可行性分析3.1.2经济可行性分析3.1.3技术可行性分析3.2系统流程分析3.3 系统性能分析3.3.1系统安全性3.3.2系统可扩展性3.3.3系统易维护性3.4系统功能分析第四章 系统设计4.1布局设计原则4.2功能模块设计4.3数据库设计4.3.1数据库E-R图4.3.2 数据库表结构
2024-07-23 17:00:19
1120
原创 【计算机毕业设计】基于微信小程序的畅阅读系统【源码+lw+部署文档】
目录摘 要Abstract1 系统概述1.1 概述1.2课题意义1.3 主要内容2 系统开发环境2.1微信开发者工具2.2小程序框架以及目录结构介绍2.3 JAVA简介2.4 MySQL数据库2.5 SSM三大框架3 需求分析3.4经济可行性3.5操作可行性: 3.6系统流程和逻辑4系统概要设计4.1 概述4.2 系统结构4.3. 数据库设计4.3.1 数据库实体4.3.2 数据库设计表5.1用户前台功能模块(前端)5.2管理员功能模块(后端)6 系统测试6.1 测试理论6.2 测试方法及用例6.3测试结果
2024-07-23 16:52:10
538
原创 【计算机毕业设计】基于微信小程序的4S店客户管理系统【源码+lw+部署文档】
本文从管理员、用户的功能要求出发,4S店客户管理系统中的功能模块主要是实现管理员服务端;首页、个人中心、用户管理、门店管理、车展管理、汽车品牌管理、新闻头条管理、预约试驾管理、我的收藏管理、系统管理,用户客户端:首页、车展、新闻头条、我的。门店客户端:首页、车展、新闻头条、我的经过认真细致的研究,精心准备和规划,最后测试成功,系统可以正常使用。分析功能调整与4S店客户管理系统实现的实际需求相结合,讨论了微信开发者技术与后台结合java语言和mysql数据库开发4S店客户管理系统的使用。
2024-07-16 07:46:58
792
原创 【计算机毕业设计】学生心理咨询评估系统设计与实现【源码+lw+部署文档】
这次开发的学生心理咨询评估系统有管理员和用户。管理员可以管理个人中心,用户管理,试题管理,试卷管理,考试管理等。用户参加考试。。经过前面自己查阅的网络知识,加上自己在学校课堂上学习的知识,决定开发系统选择B/S模式这种高效率的模式完成系统功能开发。这种模式让操作员基于浏览器的方式进行网站访问,采用的主流的Java语言这种面向对象的语言进行学生心理咨询评估系统程序的开发,后台采用Spring Boot框架,在数据库的选择上面,选择功能强大的MySQL数据库进行数据的存放操作。学生心理咨询评估系统被人们投放
2024-07-16 07:37:08
518
原创 【计算机毕业设计】基于Springboot的医护人员排班系统【源码+lw+部署文档】
本医护人员排班系统管理员,医护。管理员功能有个人中心,医院信息管理,医护信息管理,医护类型管理,排班信息管理,排班类型管理,科室信息管理,投诉信息管理。医护人员可以修改自己的个人信息,查看自己的排班信息,查看我的收藏信息。因而具有一定的实用性。本站是一个B/S模式系统,采用Spring Boot框架,MYSQL数据库设计开发,充分保证系统的稳定性。系统具有界面清晰、操作简单,功能齐全的特点,使得医护人员排班系统管理工作系统化、规范化。本系统的使用使管理人员从繁重的工作中解脱出来,实现无纸化办公,能够有效
2024-07-15 20:00:10
759
原创 【计算机毕业设计】基于Springboot的月度员工绩效考核管理系统【源码+lw+部署文档】
本月度员工绩效考核管理系统采用java语言做为代码编写工具,采用mysql数据库进行系统中信息的存储与处理。框架采用springboot。本月度员工绩效考核管理系统调试环境为myeclipse,服务器为tomcat。主要包括的内容有部门方面、员工方面、绩效考核方面、绩效指标方面。员工可以查询绩效指标和绩效考核详情,管理员进行发布和管理。本系统结合了新时代的工作要求和获得了先进技术的支持,适应时代发展,为使用人员提供了极好的绩效考核途径。
2024-07-15 19:54:47
528
原创 【计算机毕业设计】基于SpringBoot的在线拍卖系统【源码+lw+部署文档】
在线拍卖系统,主要的模块包括管理员;首页、个人中心、用户管理、商品类型管理、拍卖商品管理、历史竞拍管理、竞拍订单管理、留言板管理、系统管理,用户;首页、个人中心、历史竞拍管理、竞拍订单管理、留言板管理,前台首页;首页、拍卖商品、竞拍公告、留言反馈、个人中心、后台管理等功能。系统中管理员主要是为了安全有效地存储和管理各类信息,还可以对系统进行管理与更新维护等操作,并且对后台有相应的操作权限。
2024-07-13 15:01:26
968
基于SSM++jsp的蜀都天香酒楼网站
2024-09-07
基于SSM++jsp的实验中心管理系统
2024-09-07
基于SSM++jsp的实验室耗材管理系统
2024-09-07
基于SSM++jsp的社区文化宣传网站
2024-08-31
基于SSM++jsp的社区管理与服务系统
2024-08-31
基于SSM++jsp的人事管理信息系统
2024-08-23
基于SSM++jsp的人才招聘网站系统
2024-08-23
基于SSM++jsp的汽车养护管理系统
2024-08-23
基于SSM++jsp的汽车配件销售业绩管理系统
2024-08-23
基于SSM++jsp的汽车客运站管理系统
2024-08-23
基于SSM++jsp的精品酒销售
2024-08-23
基于SSM++jsp的简易版营业厅宽带系统
2024-08-16
基于SSM++jsp的家政服务网站系统
2024-08-16
基于SSM++jsp的家居商城系统
2024-08-16
基于SSM++jsp的会员管理系统
2024-08-15
基于SSM++jsp的共享客栈管理系统
2024-08-15
基于SSM++jsp的公司员工信
2024-08-15
基于SSM++jsp的高校专业信息管理系统
2024-08-11
基于SSM++jsp的房屋租售网站
2024-08-11
基于SSM++jsp的多角色学生管理系统
2024-08-11
基于SSM++jsp的电子竞技管理平台
2024-08-10
基于SSM++jsp的的购物商城系统
2024-08-10
基于SSM++JSP的单位人事管理系统
2024-08-10
基于SSM++jsp的大学生兼职平台
2024-08-09
基于SSM++jsp的菜匣子优选系统
2024-08-09
基于SSM++jsp的班主任助理系统
2024-08-09
人工智能图像处理系统matlab
2024-07-09
【MongoDB Basics ( v6.x )】mongodb-basics-master.zip
2024-07-05
【《ROS机械臂开发与实践》教材的课后题详解】ros-arm-exercises-main
2024-07-05
【算法导论第三版中的算法及习题】CLRS-master
2024-07-05
【Netflix homepage clone】netflix-master
2024-07-05
【Ruby training for friends】ruby-master
2024-07-01
【delphi sources】delphi-master
2024-07-01
【项目注释+论文复现+算法竞赛+Pytorch实践】PytorchNetHub-master
2024-07-01
【Elasticsearch 的官方 Python 客户端】elasticsearch-py-main
2024-06-30
【Fortran语言个人科学例程集】fortranlib-master
2024-06-30
【C# 监控与数据采集】SharpSCADA-master.zip
2024-06-30
LCD1602ESP32-compatible example for I2C-LCD1602 Display
2024-06-29
【医学影像数据集索引】dataset-main
2024-06-29
【ubuntu下操作系统开发学习】ubuntu230os-master
2024-06-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人