- 博客(22)
- 收藏
- 关注
RSS订阅原创 深入探索Spark：从概念到部署实战
运行模式：有Local（用于教学调试）、Standalone（独立部署，体现master - slave模式）、Yarn（与专业资源调度框架集成）、K8S & Mesos（Mesos是分布式资源管理框架，国内使用较少）、Windows（方便学习，可在Windows系统启动本地集群）模式，各模式在安装机器数、启动进程、所属者和应用场景上有所不同，并介绍了相关端口号。与Hadoop相比，出现时间较晚，主要用于数据计算，被视为Hadoop框架升级版，二者在功能、数据通信、任务启动等方面存在差异。
2025-04-08 17:02:21
346
原创 Scala
然后通过条件判断 if(a*a*a + b*b*b + c*c*c == num && num >= 100 && num < 1000) ，若满足该条件（即各位数字的立方和等于该数且该数是三位数 ），则打印 shi ，表示是水仙花数。第二段代码展示了 Scala 程序的基本结构框架，定义了 object Demo1 ，其中包含 def main(args: Array[String]): Unit = {} ，这是 Scala 程序的主入口，程序从这里开始执行，不过此部分代码未完。
2025-04-02 17:33:50
217
原创 Scala基础
定义与特点：多范式语言，融合面向对象和函数式编程，运行于JVM，兼容Java。- 数组：分不可变长数组（Array）和可变长数组（ArrayBuffer），前者长度不可变但元素可变，后者长度和内容都可变。- 数据类型：包含Byte、Char等多种类型，无基本与包装类型区分，有类型增强功能，如RichInt的to方法。- 操作符：算术操作符与Java类似，部分操作符是数据类型的方法，无++、--操作符。- 字符串插值：s、f、raw三种插值器，分别用于变量使用、格式化输出和不编码字符。
2025-03-28 17:44:18
346
原创 U-net系列算法
该文档围绕U-net系列算法在图像识别技术中的应用展开，详细介绍了U-net、U-net++和U-net+++的网络结构、特点及优势，具体内容如下： U-net- 整体结构：采用编码解码过程，结构简单且实用，应用广泛，最初用于医学方向。U-net++- 整体网络结构：进行更全面的特征融合与拼接，与densenet思想一致。U-net+++：通过不同的max pool整合低阶特征（如轮廓），上采样整合高阶特征（感受野大、全局的特征），各层经卷积得到64个特征图，最终。
2025-03-21 15:14:15
602
原创 YOLOv4 PPT内容总结
作者贡献：尽管作者有所变动，但YOLOv4依然保持了YOLO系列的核心精髓，且更加亲民，单GPU即可实现高效训练。YOLOv4通过一系列精心的设计和改进，在目标检测领域实现了速度与精度的优秀平衡，为实际应用提供了强有力的支持。YOLOv4的整体网络架构综合了上述各种改进方法，实现了在保持高效推理速度的同时，显著提升目标检测的精度。DIOU-NMS：改进NMS方法，不仅考虑IoU值，还考虑两个Box中心点之间的距离。GIOU损失：引入最小封闭形状C，直接优化距离，速度更快，并解决IOU损失的问题。
2025-03-14 17:05:38
415
原创 YOLO-V3
该文件主要围绕YOLO-V3展开，介绍了其在图像识别领域的技术特点与应用优势，涵盖网络结构、多scale检测、残差连接等关键内容，具体如下：性能对比：将YOLOv3与RetinaNet、SSD等多种目标检测方法对比，在COCO数据集上，YOLOv3 - 320、YOLOv3 - 416、YOLOv3 - 608的mAP - 50分别为55.3、57.9 ，推理时间依次为29ms、48ms、51ms ，展现出其性能表现。
2025-03-14 10:07:19
374
原创 YOLOV1和YOLOV2
PPT内容总结一、YOLO系列概述YOLO-V1：经典的one-stage目标检测方法，将检测问题转化为回归问题，使用一个CNN即可完成检测，可对视频进行实时检测，应用领域广泛。网络输入为448×448的图像，经过多次卷积和池化后，输出7×7×30的张量（假设S=7，B=2，C=20）。七、YOLO-V2改进更快更强：相比YOLO-V1，YOLO-V2在速度和准确性上都有所提升。网络结构：采用DarkNet网络结构，输入为416×416，没有全连接层，5次降采样后得到13×13的特征图。
2025-03-12 16:21:22
355
原创 目标检测项目
4. 目标检测的评估指标 IoU：用于度量边界框的正确性，计算预测框与真实框的交集与并集之比，会先过滤掉低类别置信度的检测结果。检测结果类别：根据真实样本和预测样本的情况，分为TP（真的正样本，IoU>阈值）、FP（假的正样本，IoU<阈值）、TN（真的负样本）、FN（假的负样本，漏检目标）。非极大值抑制（NMS）：设定置信度阈值（常用0.5左右），对候选框按置信度降序排列，选取置信度最高的框添加到输出列表并从候选框列表删除，计算其余框与该框的IoU，删除IoU大于阈值的框，重复操作直至候选框列表为空。
2025-03-11 11:51:15
319
原创 识别与应用
在训练过程中，设置模型为训练模式，梯度清零，计算损失值，反向传播更新参数。- 定义卷积神经网络模型：- LeNet 模型：包含两个卷积层 conv1 、 conv2 ，三个全连接层 fc1 、 fc2 、 fc3 ，在 forward 函数中依次对输入进行卷积、激活、池化和全连接操作。- CNNNet 模型：有两个卷积层 conv1 、 conv2 ，两个池化层 pool1 、 pool2 ，以及两个全连接层 fc1 、 fc2 ，通过 forward 函数实现数据在各层间的传递和处理。
2025-03-10 22:38:45
459
原创 手写数字识别项目
构建模型（假设为model）后，接下来就是训练模型。2.定义损失函数定义损失函数可以通过自定义方法或使用PyTorch内置的损失函数，如回归使用的losss_fun=nn. MSELoss()，分类使用的nn.BCELoss等损失函数，更多内容可参考本书5.2.4节。【说明】model.train()与model.eval()的使用如果模型中有BN(Batch Normalization)层和Dropout，需要在训练时添加model.train()在测试时添加model.eval()。
2025-03-06 17:40:32
327
原创 集成算法
结合策略有简单平均法、加权平均法，结果也可通过投票法产生。分类：按个体学习器生成方式，分为Bagging、Boosting和Stacking。随机森林是其代表，数据采样和特征选择随机，由多棵决策树并行组成。有分类和回归算法，相关参数包括树的数量、评估方式、采样方式等。AdaBoost是典型代表，会根据前一次分类效果调整数据权重，最终按准确性确定各分类器权重并组合。Stacking：可以堆叠多种分类器（如KNN、SVM、RF等），分阶段进行，第一阶段得出各自结果，第二阶段用前一阶段结果训练。
2025-03-05 23:03:47
165
原创 • PyTorch深度学习模型训练与评估实践
在训练循环中，对每个 epoch 和 mini - batch 进行处理，将数据移至指定设备（GPU 或 CPU），梯度清零后进行正向传播计算输出和损失，再通过反向传播更新模型参数，并在每 2000 个 mini - batches 打印损失值。在测试循环中，对每个样本的预测结果和真实标签进行处理，更新相应类别的计数。遍历测试数据集，将数据移至设备，通过模型得到输出，计算预测结果并与真实标签对比，统计正确预测的数量和总样本数量，最终得出模型在 10000 个测试图像上的准确率为 66%。
2025-03-04 11:36:23
711
原创 图像分类项目
可以用来表示模型的精度，即模型识别正确的个数/样本的总个数。主对角线的元素之和为正确分类的样本数，其余元素之和为错误分类的样本数。准确率(Precision)：又称为查准率，表示在模型识别为正类的样本中，真正为正类的样本所占的比例。召回率(Recall)：又称为查全率，表示模型正确识别出为正类的样本的数量占总的正类样本数量的比值。对于k分类问题，混淆矩阵为k*k的矩阵，元素Cij表示第i类样本被分类器判定为第j类的数量。将不同的图像，划分到不同的类别标签，实现最小的分类误差。迁移学习：使用预训练模型。
2025-02-28 10:24:07
168
原创 pytorch数据处理工具箱
torchvision：包含 model 、 datasets 、 transforms 、 utils 等模块，其中 ImageFolder 用于处理自定义数据集。对PIL Image的操作有调整尺寸、裁剪、填充、转换为Tensor、随机翻转、修改颜色属性等；对Tensor的操作有标准化、转换为PIL Image等，并给出了代码示例。DataLoader 可用于批量处理数据，不是迭代器，但可通过 iter 命令转换，同时提到数据在不同目录下使用不便。（其中，xxx指的是各种可视化方法。
2025-02-27 13:35:57
409
原创 pytorch数据处理工具箱
通过继承它，可自定义数据集，如定义 TestDataset 类，实现 __init__ （初始化数据和标签）、 __getitem__ （按索引获取样本并转换数据格式）和 __len__ （返回数据集长度）方法。对 PIL Image 能调整尺寸、裁剪、填充、翻转、修改颜色等；它能将 Dataset 对象按指定 batch_size 加载，有 shuffle （打乱数据）、 num_workers （多进程加载）等众多参数，不过它并非迭代器，可通过 iter 命令转换。最后在浏览器输入地址查看可视化结果。
2025-02-26 17:30:49
257
原创 【无标题】
1. 神经网络核心组件 nn.Module 所有网络层的基类，继承后可自动管理参数（如权重、偏置）。支持与 nn.Sequential 结合使用，并能通过 model.eval() 自动切换训练/测试模式（如Dropout的开关）。2. 模型构建方法继承 nn.Module 基类自定义网络需重写 __init__ （定义层）和 forward （定义正向传播）。3. 残差网络（ResNet）实现残差块设计基础残差块：输入与输出直接相加（需维度匹配），通过 F.relu(x + output) 激活。
2025-02-25 17:27:41
338
原创 图像识别技术与应用(Pytorch神经网络工具箱)
中的函数，写法一般为nn.funtional.xxx，如nn.funtional.linear、nn.funtional.conv2d、nn.funtional.cross_entropy等。操作在训练和测试阶段是有区别的，使用nn.Xxx方式定义dropout，在调用model.eval()之后，自动实现状态的转换，而使用nn.functional.xxx却无此功能。，写法一般为nn.Xxx，如nn.Linear、nn.Conv2d、nn.CrossEntropyLoss等。
2025-02-24 17:17:45
269
原创 卷积神经网络发展
通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。总结：• AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。表示学习：如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习。不同次数的重复VGG块，可获得不同的架构，例如VGG-16，VGG-19，.....每个卷积层使⽤5×5卷积核和一个sigmoid激活函数。
2025-02-21 11:24:36
357
原创 卷积神经网络
传统的多层感知机在处理图像数据时，需将二维图像展平为一维向量，导致空间结构信息丢失，例如：使用一个还不错的相机采集RGB图片（3600万个像素)使用 100 个神经元单隐含层的 MLP ，模型有 36 亿个参数远超过地球上的狗和猫的数量而使用卷积神经网络可大大降低参数量：共享参数机制、多种池化方法。填充和步幅可以改变输出的高度和宽度填充在输入周围添加额外的行/列，增加输出的高度和宽度步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状填充和步幅可用于有效地调整数据的维度。卷积神经网络的两个原则。
2025-02-21 09:26:21
1211
原创 图像识别技术与应用
此外，随着物联网技术的发展，图像识别也将与其他传感器数据相结合，为用户提供更加丰富全面的信息服务。在这张图片中，我们可以看到一个简单的感知机结构图，包括输入层、隐藏层和输出层。在这张图片中，我们可以看到一个典型的CNN架构，包括卷积层、池化层和全连接层。在这张图片中，我们看到了一个多层感知机的示意图，其中包含了多个隐藏层。本文将通过一张详细的PPTX文件，介绍图像识别技术的基本原理、应用场景以及未来的发展趋势。总之，图像识别技术已经在许多方面改变了我们的生活，并且在未来还将继续发挥重要作用。
2025-02-19 16:49:05
244
原创 线性回归与Softmax回归：从回归到分类的机器学习基础
在机器学习和深度学习中，**线性回归**和**Softmax回归**是两个基础且重要的模型。**Softmax回归**通过引入非线性变换，将输出转化为概率分布。为了训练模型，需要定义**损失函数**（Loss Function）来衡量预测值与真实值的差距。- **Softmax回归**是分类任务的核心，通过Softmax运算和交叉熵损失实现多分类。- **MNIST手写数字分类**：10类别分类问题，输入为28x28像素图像。- **ImageNet图像分类**：1000类别分类任务，模型需区分自然物体。
2025-02-18 20:06:09
525
原创 深度学习驱动的图像识别：核心技术与应用全景
本文聚焦深度学习的核心技术，解析其如何赋能图像识别，并探讨其在各领域的创新应用，展现从像素到智能的进化之路。- **参数共享**减少计算量，使模型更高效。- **弱监督学习**：减少对全标注数据的依赖，通过图像级标签（如“包含猫”）训练目标检测模型。- **手术导航**：AR结合实时图像识别，为医生标注血管、神经位置，降低手术风险。- **池化层**（如最大池化）降低数据维度，增强模型对平移、旋转的鲁棒性。- **语义分割标注**：精确到像素级的标签（如肿瘤区域轮廓）助力精准医疗。1.1 卷积层的魔力。
2025-02-17 18:55:48
346
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人