- 博客(32)
- 收藏
- 关注
RSS订阅原创 主成分分析（PCA）基本原理以及代码详解
现在，假设这些数据在z'轴有一个很小的抖动，那么我们仍然用上述的二维表示这些数据，理由是我们可以认为这两个轴的信息是数据的主成分，而这些信息对于我们的分析已经足够了，z'轴上的抖动很有可能是噪声，也就是说本来这组数据是有相关性的，噪声的引入，导致了数据不完全相关，但是，这些数据在z'轴上的分布与原点构成的夹角非常小，也就是说在z'轴上有很大的相关性，综合这些考虑，就可以认为数据在x',y' 轴上的投影构成了数据的主成分。，分别求x和y的平均值，然后对于所有的样例，都减去对应的均值。
2023-12-20 15:43:52
1221
原创 sklearn在本地存储数据集的位置
由于在下载数据时出现问题，经过查询后发现可以选择删除重新下载，这就需要清除scikit-learn的数据缓存。scikit-learn会在硬盘上缓存下载的数据集，如果这些文件被损坏，可以删除它们，然后再次尝试下载。本地地址：D:\yy-study\python\Anaconda3\Anaconda\Lib\site-packages\sklearn\datasets\data。
2023-12-20 15:37:10
790
原创 操作系统——进程同步实验
这个实验是关于生产者和消费者问题的并发编程实验，通过共享内存和信号量来实现生产者和消费者之间的同步与互斥。在这个实验中，我们首先创建了一个共享内存区域，用来作为生产者和消费者之间的缓冲区。然后，我们创建了三个信号量，分别用于表示缓冲区的状态（非空、非满）、互斥访问缓冲区以及共享数据的个数。通过对这些信号量的操作，实现了生产者和消费者之间的协调和互斥访问。在主程序中，我们创建了若干个生产者和消费者进程，并通过 fork() 系统调用来创建子进程。
2023-12-15 09:10:33
4083
1
原创 卷积计算和卷积神经网络
它的作用是提取输入图像中的信息，这些信息被称为图像特征，这些特征是由图像中的每个像素通过组合或者独立的方式所体现，比如图片的纹理特征，颜色特征等.卷积层通过卷积运算对输入数据进行处理，从而得到输出数据。使用原因：含单隐藏层的多层感知机模型仍然存在一定的局限性，若是图像在同一列邻近的像素在这个向量中相距较远，他们构成的模式可能难以被模型识别，（例如，对于一个宽度为28像素、高度为28像素的灰度图像，它可以被表示为一个28x28的矩阵，其中每个元素代表一个像素的灰度值。卷积运算与互相关运算类似。
2023-12-14 13:10:40
198
原创 目标检测YOLOv3实战：叶病虫害检测（5）
在目标检测实验中，我们采用了叶病虫害数据集，实验过程中，我们对数据集进行了预处理，包括图像增强、缩放和裁剪等操作。针对实验结果，我们计算了模型在测试集上的准确率、精确率、召回率和 F1 值。整体而言，我们的模型在目标检测任务上表现良好。总体而言，我们的实验结果显示出模型在目标检测任务上的良好性能，但仍有一些改进的空间。未来的研究方向可以包括优化模型结构、改进数据增强策略、进一步处理小目标等。通过不断地改进和优化，我们相信目标检测模型在实际应用中将发挥更大的作用。
2023-12-11 00:15:00
394
原创 目标检测YOLOv3实战：叶病虫害检测（4）
P1层级特征图，对应着使用16×1616×16大小的小方块，在每个区域中心生成大小分别为[30,61][30,61], [62,45][62,45], [59,119][59,119]的三种锚框。P2层级特征图，对应着使用8×88×8大小的小方块，在每个区域中心生成大小分别为[10,13][10,13], [16,30][16,30], [33,23][33,23]的三种锚框。经过 NMS 处理后，最终保留的预测框即为模型认为最具代表性的目标边界框，能够有效减少冗余信息，提升检测结果的准确性。
2023-12-08 03:00:00
208
原创 机器学习——支持向量机
显而易见，更高维的情况可以依此类推。当超平面方程等于0的时候，x便是位于超平面上的点，而f(x)大于0的点对应 y=1 的数据点，f(x)小于0的点对应y=-1的点。其中，xi 和 xj 是样本数据，yi 和 yj 是对应的标签（通常取值为+1或-1），αi 是拉格朗日乘子，C 是正则化参数，控制错误分类与间隔的权衡，〈xi,xj〉 表示 xi 和 xj 的内积。SVM的基本思想是找到一个超平面，使得不同类别的数据在该超平面两侧，并且距离超平面最近的点到超平面的距离（即间隔）最大化。
2023-12-06 00:15:00
155
原创 目标检测YOLOv3实战：叶病虫害检测（3）
（注释在代码中这段代码是用于随机打乱真实框的排列顺序，以及对应的标签。它首先将真实框和标签合并成一个数组，然后使用函数对索引进行随机打乱，最后根据打乱后的索引重新排列真实框和标签的顺序并返回。这段代码实现了一系列常用的图像增广方法，包括颜色扭曲、随机填充、随机缩放、随机翻转和打乱真实框顺序等。这些增广方法可以提高训练数据的多样性和泛化能力，从而改善模型的性能。这里得到的img数据数值需要调整，需要除以255，并且减去均值和方差，再将维度从[H, W, C]调整为[C, H, W]。将上面的过程整理成一个。
2023-12-04 00:15:00
259
原创 目标检测YOLOv3实战：叶病虫害检测（1）
目录下存放着图片的标注。object：图片中包含的物体，一张图片可能中包含多个物体。通过上面的程序，将所有训练数据集的标注数据全部读取出来了，存放在records列表下面，其中每一个元素是一张图片的标注数据，包含了图片存放地址，图片id，图片高度和宽度，图片中所包含的目标物体的种类和位置。数据标注：使用标注工具（如LabelImg）对数据集中的图像进行标注，标注出叶病虫害所在的位置，并为其添加对应的类别标签。数据预处理：将标注好的数据集进行预处理，包括图像尺寸的调整、数据增强等操作，以提高模型的泛化能力。
2023-11-30 17:13:22
451
1
原创 VOLOv3设计思想
如果步幅较大的情况下特征图的尺寸比较小，像素点数目较少，每个像素点的感受野（输出特征图上的每个像素点对应于输入图像上的区域大小。需要将像素点 (i，j)与第i行第j列的小方块区域所需要的预测值关联起来，每个小方块区域产生K个预测框，每个预测框需要 (5+C)个实数预测值，则每个像素点相对应的要有 K(5+C)个实数。为了解决这一问题，对特征图进行多次卷积，并将最终的输出通道数设置为 K(5+C)，即可将生成的特征图与每个预测框所需要的预测值巧妙的对应起来。将神经网络输出的特征图转化为预测框的坐标。
2023-11-27 02:00:00
214
原创 目标检测基础概念
通过实践和实验，我们掌握了这些方法的应用和实现，并能够将其用于目标检测任务中，提高检测结果的准确性和效果。实验中，我们了解了锚框的概念和生成方法，并将其与卷积神经网络结合使用，以便检测不同尺度和宽高比的目标。实验中，我们学习了如何计算交并比，并将其用于非极大值抑制算法中，以剔除重叠的边界框。通过在图像上生成一组固定大小和比例的锚框，可以覆盖多个可能存在的目标，并且能够适应不同尺度和长宽比的目标。在目标检测实验中，我们学习了一些重要的概念和技术，包括边界框、锚框、交并比和非极大值抑制，并进行了相应的实验。
2023-11-24 10:57:02
102
原创 logistic回归原理以及实现
一个简单的监督学习任务可以表示为，给定N个两两数据对(xi,yi)，使用某种机器学习模型对其进行建模，得到一个模型 (model)，其中某个给定的数据对为样本(sample)，x 为特征 (feature) ，y 为真实值 (label)。因此，为了实现Logistic回归分类器，我们可以在每个特征上都乘以一个回归系数，然后把所有的结果值相加，将这个总和代人Sigmoid函数中，进而得到-一个范围在0~1之间的数值。如下图所示，但是直线并不唯一，即改变w和b的值获得不同的直线，在此过程中寻找最佳参数。
2023-11-22 01:00:00
282
原创 进程高级通讯
其中：id是共享存储区的标识符，addr是用户要使用共享存储区附接的虚地址，若addr是0,系统选择一个适当的地址来附接该共享区。viraddr是附接的虚地址。IPC_STAT: 返回包含在制定的shmid相关数据结构中的状态信息，并且把它放置在用户存储区中的*buf指针所指的数据结构中。它是基于指定的key产生的。在实际应用中，1个字节的消息是没有任何用途的，因此，用户可以根据自己的需要定义消息结构的内容。其中，当调用成功时，返回0值，调用不成功，返回-1，addr是系统调用shmat所返回的地址。
2023-11-20 00:30:00
92
1
原创 线性回归从零开始实现
tensor的requires_grad的属性默认为False,若一个节点（叶子变量：自己创建的tensor）requires_grad被设置为True，那么所有依赖它的节点requires_grad都为True（即使其他相依赖的tensor的requires_grad = False）。生成数据集，torch.normal函数，该函数返回从单独的正态分布中提取的随机数的张量，该正态分布的均值是mean，也就是噪声。首先，我们使用了一个简单的数据集来训练模型，并使用梯度下降算法来更新模型的参数。
2023-11-17 09:48:27
79
原创 多层感知机的从零开始实现
在预测过程中，函数会将测试数据迭代器中的每个样本输入模型net中进行前向传播，并将预测结果保存在列表中返回。在多层感知机的简洁实现实验中，需要注意数据准备、模型构建、参数初始化、损失函数和优化器的选择、训练过程、模型评估和超参数调优等步骤。需要调节的，可以调节的参数很多，需要更多次测试才能获得更加合理的结果。每个输入都会影响隐藏层中的每个神经元， 而隐藏层中的每个神经元又会影响输出层中的每个神经元。这个优化器通常用于训练神经网络模型，通过迭代更新模型的参数，使模型的损失函数逐渐减小。
2023-11-16 09:23:41
125
1
原创 ResNet理论知识以及具体实现
最后，将shortcut操作的结果与第三个卷积层的输出相加，并通过ReLU激活函数进行非线性处理，得到最终的输出。原因：卷积主要是用于提取图像特征，在有些图片中，大部分卷积核是提取不到任何特征的，小部分可以提取到特征，所以原图像对应的信息是稀疏的，就可以进行压缩，就不会损失太多原来信息。具体来说就是，1*1的卷积核可以非常方便的调整中间层的通道数，在进入3*3的卷积层之前减少通道数（256->64），经过该卷积层后再恢复通道数(64->256)，可以显著减少网络的参数量。
2023-11-14 17:24:40
354
原创 朴素贝叶斯分类器实现垃圾邮件检测
常见的朴素贝叶斯分类器包括多项式朴素贝叶斯（Multinomial Naive Bayes）和高斯朴素贝叶斯（Gaussian Naive Bayes）等。对于垃圾邮件分类预测，简单来说就是判断一封邮件是垃圾邮件的概率和是正常邮件的概率，哪一个概率大就判定为是哪一种类型的邮件。为方便公式标记，不妨记P(C=c|X=x)为P(c|x)，基于属性条件独立性假设，贝叶斯公式可重写为。因为独立事件间的概率计算更加简单，为了简便计算，朴素贝叶斯假定所有输入事件之间是相互独立的。
2023-11-10 01:15:00
433
1
原创 计算机视觉网络基础知识（5）
丢弃法是内存管理中的一种策略，用于确定哪些数据或页面应该被丢弃以便为新数据或页面腾出空间。在操作系统的虚拟内存管理中，丢弃法通常用于页面置换算法，以决定哪些页面应该从物理内存中移除。
2023-11-08 17:25:14
75
1
原创 计算机视觉网络基础知识（4）
批归一是一种针对深度神经网络的正则化方法。其主要思想是在神经网络的每一层输入之前，通过对每个 mini-batch 数据进行规范化操作，使得网络中间层的输入分布更加稳定，从而能够加速训练和提高网络的泛化性能。具体来说，在每个 mini-batch 数据中，BN 对于该 batch 中的每个特征都计算了均值和方差，并将其用于对该 batch 进行标准化。然后，层的输出通过学习可学习的缩放和平移参数进行调整。这样，神经网络可以更容易地收敛，同时减少 overfitting 的发生。
2023-11-05 15:30:52
71
原创 计算机视觉网络基础知识（3）
常见的池化方式包括最大池化和平均池化。激活函数的导数通常用于计算误差梯度，如果激活函数的导数在输入某个范围内趋近于0，则误差梯度也会趋近于0，从而无法对参数进行有效的更新。梯度消失是指在反向传播过程中，由于神经元的激活函数导致的激活值落在函数饱和区域内，使得误差梯度逐渐缩小，最终接近于0，导致深层网络无法有效地更新参数。为了数值上的稳定，激活函数需要能够映射所有的实数，且又因为激活函数只是需要增加非线性，不需要改变对输入的响应状态，所以应该随着y的增大而增大，减小而减小，是一个单调的s形曲线。
2023-11-05 10:04:51
98
原创 计算机视觉网络基础知识（2）
具体来说，假设一个小批量的输入数据有m个样本，每个样本有n个特征，在网络中有k个神经元，那么输入数据可以表示为一个m×n的矩阵，权重矩阵可以表示为一个n×k的矩阵，偏置可以表示为一个k维向量。由于会对每张图片使用同样的卷积核进行卷积操作，卷积核的维度与上面多输出通道的情况一样，仍然是𝐶𝑜𝑢𝑡×𝐶𝑖𝑛×𝑘ℎ×𝑘𝑤，输出特征图的维度是𝑁×𝐶𝑜𝑢𝑡×𝐻𝑜𝑢𝑡×𝑊𝑜𝑢𝑡。在卷积操作中，每个卷积核会对所有通道的输入数据进行卷积操作，生成一个对应的特征图，然后将所有特征图按通道相加得到最终的输出特征图。
2023-11-04 01:15:00
73
1
原创 计算机视觉网络基础知识（1）
输出结果的计算过程就是输入区域取与核相同大小的a区域，与核进行对于位置数据相乘，最后再将所以结果相加获得输出结果中的一个数据，然后再将a区域移动移动方向对应输出区域的位置，按从左往右、从上往下的顺序，依次在输入数组上滑动。输出特征图上每个点的数值，是由输入图片上大小为𝑘ℎ×𝑘𝑤的区域的元素与卷积核每个元素相乘再相加得到的，所以输入图像上𝑘ℎ×𝑘𝑤区域内每个元素数值的改变，都会影响输出点的像素值。假设卷积核的高和宽分别为𝑘ℎ和𝑘𝑤，则将称为𝑘ℎ×𝑘𝑤卷积，比如3×5卷积，就是指卷积核的高为3, 宽为5。
2023-11-03 17:34:47
97
原创 虚拟机基本操作
安装虚拟机软件：首先，需要安装一个虚拟机软件，常见的虚拟机软件包括VMware、VirtualBox、Hyper-V等。虚拟机迁移：VMware支持虚拟机迁移功能，可以将虚拟机从一个物理机器迁移到另一个物理机器中，并保持虚拟机状态不变。总的来说，虚拟机是一种非常有用的技术，它可以让计算机资源更加高效地利用，提高应用程序的可靠性和安全性，以及简化应用程序的部署过程。配置虚拟机：安装完操作系统后，需要对虚拟机进行一些配置。克隆虚拟机：VMware支持克隆虚拟机功能，可以在已有虚拟机的基础上创建一个新的虚拟机。
2023-11-02 23:26:48
183
1
原创 操作系统——存储器管理计算题
将位数转换为字节数，需要再除以 1024*1024 来得到结果： 位图所占空间大小 = 所需位数 / (1024 * 1024) = (512 * 1024) / (1024 * 1024) = 0.5 MB = 512 KB。首先计算物理内存中总共有多少个页框： 总页框数 = 物理内存大小 / 页大小 = (16 * 1024 * 1024 * 1024) / (4 * 1024) = 4 * 1024 * 1024。由于内存容量为16MB，即2^24字节，而页的大小为512B，即2^9字节。
2023-11-01 15:38:37
2310
2
原创 机器学习——决策树原理及其实现
决策树是一种机器学习算法和数据挖掘方法，用于解决分类和回归问题。它通过构建树状结构来模拟决策过程，每个内部节点表示一个特征或属性，每个分支代表该特征的不同取值，而每个叶子节点则表示一个预测结果或决策。（具体形似流程图）决策树学习的目的是为了产生一棵泛化能力强，即处理未见示例能力强的决策树。
2023-10-31 17:13:28
184
1
原创 基于hough变换的图像边缘提取（matlab实现）
通过上述步骤，可以获得矢量化的边缘特征，该特征表示了图像中检测到的直线段。这些矢量化的边缘特征可以用于进一步分析、处理和应用，例如进行物体检测、形状识别等。通过本次实验，我了解到 Hough 变换的优势在于对图像中的噪声和不完整形状具有一定的鲁棒性。它可以用于各种应用，如形状检测、边缘检测、圆检测等。然而，Hough 变换也存在一些局限性，例如计算复杂度较高、对参数空间的选择要求较高等。
2023-10-30 16:33:09
663
1
原创 ROC曲线以及PR曲线的原理以及python实现
我们简单的把图分为T1-T4四个部分，我们可以很明显的看出，T1部分应该是正确的，却被预测为错误的，这部分我们把它记录为FP（false positive），T2部分是正确的，预测也是正确的，这部分我们把它记录为TP（true positive），T3部分是错误的，却被预测为正确的，这部分我们把它记录为FN（false negative），T4部分是错误的，预测也是错误的，这部分我们把它记录为TN（true negative）。PR曲线的横轴为召回率，从0到1逐渐增加，纵轴为精确率，从0到1逐渐增加。
2023-10-13 17:22:14
1233
原创 KNN算法及其实现（学习记录）
KNN 算法原理较为简单适合低维空间问题（a.高维特征中不相干的特征会降低重要特征对距离的影响；b.维度越高，算法时间复杂度越高。KNN算法本质上没有训练过程KNN预测过程时间复杂度与样本个数线性相关。
2023-09-30 10:41:12
843
原创 深度学习学习记录
plt是先生成了一个画布，然后在这个画布上隐式的生成一个画图区域来进行画图，ax，先生成一个画布，然后，我们在此画布上，选定一个子区域画了一个子图，Python中的import语句是用来调用模块的。fig=plt.figure(num=1,figsize=(4,4))ax=fig.add_subplot(111)ax.plot([1,2,3,4],[1,2,3,4])plt.show()fig=plt.figure(num=1,figsize=(4,4))plt.plot([1,2,3,
2023-09-18 17:22:11
39
原创 人脸识别技术实现，机器学习分类，网络搭建
一。人脸识别技术1.python编程环境构建下载anaconda，CUDA，CUDNN下载完成后（开始键+r）输入cmd后输入conda，显示以下内容即可2.程序实现环境构建成功后，进入VS下载python，（有需求也可下载中文包）输入人类识别代码，会自动打开摄像头进行检查。结果显示注意事项：1.进行程序导入时要将整个文件拖入vs，复制粘贴不可行。2.编程环境为conda。而非默认环境。二.机器学习分类1.回归问题是定量问题，分类问题是定性...
2021-11-13 00:15:00
1880
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人