- 博客(51)
- 收藏
- 关注
RSS订阅原创 阿里云oss显式使用key与secret
阿里云原demo，需要通过环境变量来读取到oss_key与oss_secret。如果在某些需要写死或者迁移的项目中，可以使用如下来显示使用key与secret。
2024-12-03 12:13:26
355
原创 python实现音频文件mp3/m4a转.wav + windows安装ffmpeg
下载后是一个rar文件，解压到各自存储工具的地址，然后打开到bin文件夹(里面正常应该有3个.exe文件)，复制文件夹路径。找到红色框选的绿色文字链接，点击下载即可，下载大概率需要魔法，暂时麻瓜的可以先用我上传度盘的(2024/10/10)1.确保已经正确安装ffmpeg,pydub实际上仍然是ffmpeg的功能封装库，底层是依靠ffmpeg来实现的。抱脸上的模型几乎统一输入需求都是.wav，直接贴代码吧。ps:使用这段代码需要提前安装好ffmpeg(安装教程请往下拉)
2024-10-10 19:01:55
809
原创 windows自定义路径docker安装
运行直接.exe文件会默认在C盘安装，不想C盘炸的同学可以使用如下方式自定义路径在cmd窗口中跳转至刚才下载的.exe文件路径然后运行下面这行命令(将<path>替换成你需要安装的文件夹路径)运行命令后会跳转安装界面，建议勾选wsl2，之后一路继续即可。安装结束后运行 docker -v 能正常跳出版本信息即可。
2024-09-23 18:04:32
863
原创 hugging face 利用现有模型进行预测
本篇主要记录下如何使用hugging face来快速找到我们需要的模型，并通过已有模型来快速实现demo或是功能模块
2024-09-03 00:16:24
857
原创 Transformer---Decoder在训练和推理中的区别
在训练时，我们已知了标签，所以可以通过mask的技术来将一整个(max_len,d_embed)的矩阵喂给模型，但是在推理中，我们无法得知真值，所以只能串行投喂（这也是为什么比较早期的大模型输出都是一个字一个字蹦出来的）。这是两个人为设定的特殊符号，我们可以把他看做某个特殊的标点符号，在训练的过程中，模型会学习到当我预测出EOS的时候，我就不需要进行之后的预测了（也就是后面对应的字符应该是空），前文+SOS就能预测出我们需要的第一个字符。但是在推理中，我们并不知道真实值是什么，那么我们只能串行运行。
2024-07-29 22:28:33
778
原创 Pycharm conda 虚拟环境添加失败---windows
使用系统解释器选择python.exe进行本地添加（ps:该方式不会显示conda名称）conda路径使用conda info查询。
2024-07-29 11:22:58
424
原创 Transformer-Bert---散装知识点---mlm，nsp，较之经典tran的区别和实际应用方式
本文记录的是笔者在了解了transformer结构后嗑bert中记录的一些散装知识点，有时间就会整理收录，希望最后能把transformer一个系列都完整的更新进去。举几个简单的例子来解释一下常见的自监督学习：（ps:插一嘴，bert使用的是mlm，会在最后的例子中解释）被替换的单词：men ： MASK-------------------80%这一问题，我们并不总是用实际的[MASK]标记替换“遮盖”的单词。为了更好的适应下游任务，bert的作者对与MLM的规则进行了一定的微调。
2024-07-22 21:01:42
1329
7
原创 使用numpy基于全连接层实现Minst数据集训练——待续
PS：本贴还没完全写完，全部代码直接转至文末，有时间会一点一点把细节部分解释清楚题外话：以前习惯调包实现网络，然后发现研究新的较为复杂的网络结构会很吃力，于是回过头来垒实基础，后续会在全连接层的基础上添加卷积池化dropout归一层等等，如果你也有对应需求，可以持续关注哈。so,进入正题Minist数据集网盘地址：回头贴上ps:度娘随便找一下也有。
2024-04-30 22:09:16
806
1
原创 Kaggle竞赛---Open Problems - Multimodal Single-Cell Integration（利用DNA预测蛋白质水平--core:0.762）---Multi模型预测
书接上文：这里主要提供multi模型预测的代码（ps:这里会同样给出整体提交的代码，我这里会使用之后已经预测好的cite模块的数据，来生成整体的提交数据）
2024-03-26 12:46:15
460
原创 Kaggle竞赛---Open Problems - Multimodal Single-Cell Integration（利用DNA预测蛋白质水平--core:0.762）---Multi模型训练
简单来说（详细的介绍建议直接看比赛介绍，无需魔法）：就是给你2份excel表（有一份是提交模板，一份是单人第二天提交细胞清单），量分别分别记录了提供者、cell_id、gene_id、cell_type、technology,这几个数据以cell_id为key互相关联，.h5文件则记录了cell_id以及DNA，RNA，蛋白质水平（这三者通过不同的转换手段转换为了（1，n）的矩阵）。（kaggle cpu 处理比本地慢，这部分文件处理我是在本地实现的，然后再手动上传）2.1处理.h5文件。
2024-03-26 12:11:47
656
原创 Pandas常用操作记录（更新中）
在机器学习中，我们往往会需要对csv文件的一些列数据进行独热编码，使用pandas自带的map函数来进行替换也是一种比较简单快速的编码方式。（注意map函数需要自提供映射字典，常用于类别较少的情况）函数比较简单：df.map(字典对象)，效果见下图。在获取到df对象后，可以使用。具体方法类似loc函数，这里简单展示（当然，我们可以更加优雅一点，使用。来进行行、列、区域的数据的获取。注意此处索引都是从0开始计算。
2024-02-07 00:32:42
311
1
原创 三数之和---------leetcode刷题
首先题目说明i,j,k是不重复的，这也就意味着一定有大小顺序，所以当我们排序后，以固定的最小的k来进行遍历O(N)，使用双指针记录i与j(i<j)，然后依次遍历所有可能O（N），最后完成优化。比较经典的双指针运用，利用双指针消除无效解来优化为O(N^2)。1.穷举法：O(N^3)
2023-11-10 02:04:48
111
原创 最长子串问题------------Leetocode刷题
PS：我们使用的是window这个字典，key是字符，value是序列号，一旦发现重复会先更新更新左指针i = max(i,window[s[j]])然后再更新序列号，由于我们移除窗口并不会将字典内的内容直接移除，所以要使用max函数来判别该字符是否在现有窗口内，如果在，那么其下标应该大于左指针I。基于上述步骤，可以看出，整个循环其实就是右指针按顺序遍历了一遍数组，在遍历途中，左指针进行更新，最大长度进行更新，当录入重复字符时，左指针跳转到之前字符的位置后一位，然后更新数据。很容易看出时间复杂度为O(n)
2023-11-08 12:20:55
91
原创 N字形变换--------Leetocode刷题
PS：这个系列主要是记录一些让我初见茅塞顿开的算法实现，一些基础的可以取leetocode官网上看题解哈，我这里只会简述一下实现逻辑。
2023-11-07 22:19:39
96
原创 最长公共前缀--------leetcode刷题
{[a,c],[a,c],[b,d],[b,d]}的元组对象，那么我们使用set(zip(a,b)[index])是不是就能按位判断了。思路:使用zip组合str对象的时候，譬如a ='aabbcc',b='ccdd',使用zip(a,b)时，会获得一个。定义一个实现比较两个字符串最长公共前缀的函数：LCP。从前往后遍历所有字符串的每一列。
2023-11-07 12:54:06
55
原创 图像处理（去噪）----滤波
图像去噪，主要用于去除图像的一些噪点，从而减少乃至消除噪点对边缘检测的影响。图像降噪常见的有均值滤波，高斯滤波，中值滤波，双边滤波，引导滤波等。
2023-11-04 23:52:12
1127
原创 基于opencv4x --- python3.11实现信用卡卡号识别
版本：opencv-python 4.8.1.78 python 3.11（csdn也有类似的例子，不过版本比较古早，还是自己动手实现了一下）这个小的功能demo主要是使用cv的模板匹配功能matchTemplate函数，对于一些有固定模板的文字、图片，可以参考下述代码来利用模板实现。（ps:虽然使用torch来训练模型可以获得更具有泛用性功能，但是对于信用卡这类有个固定文字格式的图片，使用模板匹配来的更加方便些）
2023-10-31 22:21:10
738
原创 OpenCV生成随机矩阵---randn与randu
OpenCV中提供了两个函数来生成随机数矩阵，可以用来创建随机图像或是用来人为增加随机噪点。
2023-10-27 18:20:53
899
原创 glove文件转换为word2vec文件-----glove2word2vec弹出warning
虽然现在使用glove2word2vec任然是可以的的，但是会弹出warning警报，两者转换还需要消耗不少的时间。这是word2vec的，word2vec会多一行来表示单词总数以及词向量维度，no_header就是跳过了这一行内容。但是当你导入一个word2vec的时候，就选择默认的False就行（binary=False表示对象是txt文件）现在已经可以直接导入glove文件了，无需再转换了，注意，
2023-10-25 00:33:34
169
原创 chain函数
在使用神经进行数据预处理的时候，需要获取训练数据所有用到的不重复的单词的数量，初时定义了一个函数，想要利用set来获取不重复的数量，报错list（输入的是列表嵌套列表）是不可哈希的对象。chain函数是Python的itertools模块中的一个函数，它用于将多个可迭代对象（如列表、元组等）连接在一起，形成一个新的可迭代对象。这个新的可迭代对象可以逐个访问原始可迭代对象中的元素。此时就可以使用chain函数，来讲sum的每个子列表展开，再将所有元素连接在一起，形成一个迭代器，最后再利用set转换成集合。
2023-10-23 13:40:38
189
原创 tf.placeholder()函数详解
tf.placeholder() 函数是一个常用的处理输入数据的工具。它允许我们在定义计算图时创建占位符节点，以便稍后在执行阶段提供实际的数据。（简单的说就是先占个坑位，有需求的时候再添加进去，注意这个在tf 1.0版本是十分盛行的，但是在2.0版本，已经被移除了，使用tf.data替代了相关功能，细节后文会介绍）
2023-10-22 23:40:14
3539
原创 词向量特征---神经网络文本输入
是将词语从词汇表中映射到一个连续的向量空间中，使得语义上相似的词语在向量空间中的距离较近。这种表示方法可以，为神经网络提供了一种有效的文本输入方式。通俗解释下：在神经网络中，我们的输入一般都是一个多维度的矩阵，而当我们需求输入文本的时候，我们无法将str类型的变量直接传入计算机（计算机并不认识）。传统的文本处理是将文本转换成固定长度的特征向量。譬如我的所有文本有："我姓张，弓长张"。
2023-10-21 14:26:36
301
原创 边界扩充--在卷积中的作用
卷积神经网络是一种深度学习模型，广泛应用于图像识别、目标检测等领域。它通过卷积层、激活函数和池化层等组件构建，能够自动学习图像的特征表示。边界扩充在卷积中的重要性 边界扩充是一种常见的卷积操作技巧，可以有效防止边缘信息丢失，提高模型的泛化能力。
2023-10-18 22:27:15
343
原创 监督学习、无监督学习，参数模型、非参数模型概述---深度学习图解学习笔记
深度学习是一种强大的机器学习方法，它在许多领域中都取得了显著的成功。在深入探讨深度学习之前，我们需要了解几个重要的概念，包括监督学习、无监督学习、参数模型和非参数模型。本文将对这些概念进行简要概述，并通过图解的方式帮助读者更好地理解它们。
2023-10-16 18:17:06
1078
原创 git不生成新commit,更新最进一次commit提交内容
当我们在github上的仓库中提交了多个版本后，会出现大量的commit，可以搜索相关合并的操作，来将数个commit合并成一个，后续提交的时候，在一些没有过多版本或是我们在提交后遗漏文件或是内容有错误需要修改的时候，可以使用git commit --amend来进行合并修改。使用add -u来一次性添加已经修改或删除的文件到暂存区，然后使用status查看是否成功添加（一般修改成功时是绿色字体，有差异是红色字体），待检查无误后提交即可。
2023-10-14 22:16:43
451
原创 Tkinter中Checkbox默认设置勾选
2.check_isline = Checkbutton(window, text="换行输出"，onvalue = True,offvalue =False,variable=var_isline):定义checkbutton对象。3.var_isline.set(True)：将var_isline置为True也就是对应onvalue状态，即为勾选状态。variable = var_isline：使用变量var_isline来监听和控制勾选状态。运行框架：可以看出，换行输出就自动勾选了。
2023-10-13 22:33:56
2383
原创 测量误差---均方误差法
均方误差(MSE)是机器学习中常用的评价指标，用于衡量模型预测值与真实值之间的差异。在实际应用中，我们通常使用均方误差来评估回归模型的性能。
2023-10-10 16:25:13
2289
原创 基于pytorch搭建神经网络进行气温预测
首先提供一下基本数据，需要自己实现的可以下载下来，自己玩下链接：https://pan.baidu.com/s/1fWZ1T6f02OYG_C-euiMQJQ?pwd=6666提取码：6666。
2023-09-17 15:38:53
667
1
原创 pytorch 学习
pytorch主要分为CPU与GPU两个大类型，找到如下界面，选择自己需要的安装环境，复制run this command栏的代码进行安装即可。Ps：如果需要使用GPU需要先安装CUDA，网上教程很多就不赘述了，cpu处理比较慢，但gpu对设备有一定要求，如果使用笔记本学习，建议安装cpu版本，或者可以尝试colab（免费的GPU）就是需要魔法环境。
2023-09-14 21:40:11
105
1
原创 小狼毫（Rime）输入法无法打出中文解决方法
实际运行中，pc 进入休眠状态后，高概率后台会被关闭，需要再次重新启动。建议写个bat文件丢桌面，辅助启动，疑似win系统上的老问题了。在安装路径下：找到weaselServer.exe文件，双击运行，等待几秒就可以了。度娘了一下，有说运行小狼毫算法服务，尝试运行似乎并不可行，输入框都消失了。初次安装小狼毫后，发现想要输入中文只会出现输入框，不会显示候选栏。ps：win 10搜索栏中直接搜索小狼毫算法服务，就能找到。
2023-09-14 21:37:44
3326
1
原创 torch.rand(),torch.randn(),torch.randn_like()用法详解
torch.randn_like()：输入与传入参数size相同的满足标准正态分布的随机数字tensor。layout（可选）- 输出张量所需的内存布局。默认为None，这意味着将使用输入张量的内存布局。dtype（可选）- 输出张量所需的数据类型。device（可选）- 输出张量所需的设备。input_tensor（必需）- tensor对象，输出张量的大小与输入对象一致。torch.randn()：满足标准正态分布（有正有负）torch.rand()：满足0-1上的均匀分布。
2023-09-11 17:19:13
3698
原创 从数学角度分析梯度下降算法
在实际中，数据会议很多个点的形式给出，回归问题就是将这些点拟合成一条曲线，找到最优解使得这条拟合的曲线能够代表尽量多的数据。那么如何找到最优的解呢，那边需要使用代价函数，这里以比较常用的代价函数均方误差代价函数为例。均方误差代价函数其主要思想就是将实际数据给出的值与拟合出的线的值作差，求出拟合出的直线与实际的值的距离（也就是y轴距离=h(xi)-y(xi),y(x)是点的离散的数据，h(x)是拟合出的连续函数）
2023-09-03 21:54:16
86
原创 神经网络学习---学习笔记
对于机器学习，我们基本遵循三步走套路：1.收集数据并给定标签2.训练一个分类器3.测试，评估其中训练分类器，测试评估便需要用到一定的框架来实现。这里推一下学习或练手用的训练集：（度娘可以直接下，大概600M+）数据库 CIFAR-10该数据库一共有10类标签，每张图片是32*32*3大小，其中共有50000个训练数据，10000个测试数据，对于没有高算力的常规配置电脑是一个比较适合的小型库。
2023-09-03 20:50:50
195
原创 不定时补充--cv2使用过程中的常见问题以及解决方案
当要实现人脸识别的一些算法时，我们会需要调用cv2.face模块来训练一个实例对象，这就需要装上opencv-contrib-python包，调用时仍然只需要Import cv2即可笔者直接安装后便没有问题了，但网上据说有无法直接pip成功的，可以尝试卸载原cv2包,再次安装（ps:推荐使用清华源）
2023-08-29 22:49:35
414
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人