- 博客(33)
- 收藏
- 关注
RSS订阅原创 spark（三）
本节课接着上节课的继续学习了Key-Value类型中的sortByKey、join、leftOuterJoin、cogroup，新学习了RDD行动算子，其中包括。行动算子就是会触发action的算子，触发action的含义就是真正的计算数据。对两个类型为 (K, V) 和 (K, W) 的 RDD 进行连接操作。对两个类型为 (K, V) 和 (K, W) 的 RDD 进行分组操作。对 RDD 元素进行聚集操作，先聚合分区内数据，再聚合分区间数据。返回 RDD 中元素的数量。返回 RDD 的第一个元素。
2025-04-11 09:01:57
225
原创 spark（二）
示例：现有数据 List(("a", 88), ("b", 95), ("a", 91), ("b", 93), ("a", 95), ("b", 98))，求每个key的总值及每个key对应键值对的个数。本节课接上节课继续对于RDD进行学习，首先是对于创建RDD的不同方式，接着学习了RDD的三种转换算子：Value类型、双Value类型、Key-Value类型，以及各个转换算子的不同使用方式。以源 RDD 元素为主，去除两个 RDD 中的重复元素，保留源 RDD 的其他元素。
2025-04-10 09:44:10
625
原创 spark（一）
在不同的部署环境中，这个提交过程基本相同，但是又有细微的区别，这里不进行详细的比较，但是因为国内工作中，将 Spark 引用部署到Yarn 环境中会更多一些，所以这里提到的提交流程是基于 Yarn 环境的。对RDD相关概念进行了细致学习，包括其核心属性、执行原理、序列化方式、依赖关系、持久化操作、分区器的运用，以及文件读取与保存等内容。不可变：RDD 封装了计算逻辑，是不可以改变的，想要改变，只能产生新的 RDD，在新的 RDD 里面封装计算逻辑。Spark 在计算时，是使用分区函数对每一个分区进行计算。
2025-04-09 17:39:07
897
原创 Scala（七）
集合中的常用函数本节课学习了集合计算高级函数、普通WorldCount案例、复杂WordCount 案例。3.Reduce 简化（归约） ：通过指定的逻辑将集合中的数据进行聚合，从而减少数据，最终获取结果。单词计数：将集合中出现的相同的单词，进行计数，取计数排名前三的结果。本节课继续学习了集合中的常用函数，新学习了队列、并行集合。扁平化+映射（FlatMap）简约（归约）（Reduce）普通WordCount 案例。扁平化（Flatten）分组（GroupBy）过滤（Filter）转化/映射（Map）
2025-04-08 08:35:19
557
原创 Scala（六）
数组包括可变数组、不可变数组，学习了如何定义和创建数组、可变数组和不可变数组之间的转换、多维数组、数组遍历。（2）[Int]是指定可以存放的数据类型，如果希望存放任意数据类型，则指定Any。本节课学习了数组、列表、Set集合、Map集合、元组、集合中常用的函数等等。Map集合同样也学习了可变Map和不可变Map，以及如何访问Map中的数据。集合中常用的函数学习了获取集合的相关属性、获取特定元素相关、排序相关等。二、可变mutable.Set。一、不可变 Set。
2025-04-07 15:52:00
625
原创 Scala（五）
案例中的 super，不是表示其父特质对象，而是表示上述叠加顺序中的下一个特质，即，MyClass 中的 super 指代 Color，Color 中的 super 指代Category，Category 中的super指代Ball。当一个类混入多个特质的时候，scala 会对所有的特质及其父特质按照一定的顺序进行排序，而此案例中的 super.describe()调用的实际上是排好序后的下一个特质中的 describe() 方法。可变集合，就是这个集合可以直接对原对象进行修改，而不会返回新的对象。
2025-04-03 10:09:55
738
原创 Scala（四）
Scala 有两种包的管理风格，一种方式和 Java 的包管理风格相同，每个源文件一个包（包名和源文件所在路径不要求必须一致），包名用“.”进行分隔以表示包的层级关系，如com.zpark.scala。本节课学习了Scala中的面向对象，Scala 的面向对象思想和 Java 的面向对象思想和概念是一致的但Scala 中语法和 Java 不同，补充了更多的功能。封装就是把抽象出的数据和对数据的操作封装在一起，数据被保护在内部，程序的其它部分只有通过被授权的操作（成员方法），才能对数据进行操作。
2025-04-02 17:54:17
927
原创 Scala（三）
函数的定义本节课学习了函数式编程，了解到它与Java、C函数式编程的区别；学习了函数的基础，了解到它的基本语法、函数和方法的定义、函数高级。。。学习到函数至简原则，高阶函数，匿名函数等。函数的定义函数基本语法例子：函数和方法的区别函数：为完成某一功能的程序语句的集合方法：类中的函数1.Scala 语言可以在任何的语法结构中声明任何的语法2.函数没有重载和重写的概念；方法可以进行重载和重写3.Scala 中函数可以嵌套定义例子：函数定义函数1无参数无返回值函数2无参数。
2025-04-01 11:37:47
791
原创 Scala（二）
本节课继续学习了Scala中的循环语句，学习了循环守卫、循环步长、循环返回值、倒序打印、循环中断等等，学习了代码中的经典实例：鸡兔同笼、百钱买百鸡。循环守卫，即循环保护式（也称条件判断式，守卫）。保护式为 true 则进入循环体内部，为false 则跳过，类似于continue。将遍历过程中处理的结果返回到一个新 Vector 集合中，使用 yield 关键字。例子：输出1-10，并将原数据中所有值乘以 2，并把数据返回到一个新的集合中。例子：请输出1-20中所有的偶数（不包含20）1-10中，不输出2。
2025-03-31 16:43:40
208
原创 Scala
本节课学习了Scala编程中的数据类型、变量的定义、基本操作符、字符串的穿插、条件表达式和循环语句。数据类型涵盖值类型，如Byte、Short、Int、Long、Float、Double、Char、Boolean，能满足不同数值和字符的表示需求；如果被循环的是 Map，返回的就是Map，被循环的是 List，返回的就是 List，以此类推。当y的值类型既可能为Int又可能为String时，它的类型被定义为Any，是Int和String的父类。先进行除法运算，再将结果赋值给左边的变量。
2025-03-28 11:18:53
1023
原创 Scala简介
本节课对Scala进行了系统的学习，先是学习了它的简介，了解到它融合了面向对象与函数式编程特点，是一种多范式的编程语言，运行于Java平台，应用广泛，兼容现有的 Java 程序，Scala是基于Java的，Scala与Java的关系是非常紧密的，因为Scala是基于JVM（JAVA虚拟机）的一门编程语言。Scala 的编译模型（独立编译，动态类加载）与 Java 和 C# 一样，所以 Scala 代码可以调用 Java 类库（对于.NET实现则可调用.NET类库）。Scala可以任意调用Java的代码。
2025-03-27 09:33:21
761
原创 图像识别技术与应用（二十）
本节课我们深入学习了net算法系列中的U-net、U-net++和U-net+++。U-net是一种经典的卷积神经网络架构，广泛应用于图像分割任务，其独特的U形结构结合了编码器和解码器，能够有效地捕捉图像的上下文信息并生成精确的分割结果。；U-net++ 在 U-net 的基础上进行优化，通过引入更复杂的跳跃连接（密集跳跃连接）和嵌套结构，提升了分割精度，进一步增强了特征传递和信息融合；U-net+++ 则进一步创新，通过更复杂的网络结构和多层次的特征融合，进一步提高了模型的性能，实现了更好的分割效果。
2025-03-21 09:36:27
561
原创 图像识别技术与应用（十八）
本节课讲解了YOLO系列中的YOLOv4，YOLOv4作为目标检测领域的重要算法，极大地提升了检测的速度与精度。课程从其核心原理入手，剖析了骨干网络CSPDarknet53如何高效提取图像特征，以及FPN+PAN结构怎样实现多尺度特征融合，让模型对不同大小目标都能精准识别。在学习过程中，还深入了解了数据增强、损失函数设计等关键技术，明白了它们在提升模型性能中所发挥的作用。通过代码实践与案例分析，切实掌握了YOLOv4在实际场景，如智能安防、自动驾驶物体识别中的应用流程。
2025-03-14 10:19:32
1152
原创 图像识别技术与应用（十六）
YOLOv1（You Only Look Once v1）是一种具有开创性的目标检测算法将目标检测任务当作一个回归问题来处理，把输入图像划分为S\times S的网格，若目标中心落在某个网格内，则该网格负责预测这个目标。每个网格预测B个边界框和这些边界框的置信度，以及C个类别概率。最终通过非极大值抑制等操作得到检测结果。采用了类似GoogLeNet的网络结构，包含24个卷积层和2个全连接层。先通过卷积层提取图像特征，然后全连接层进行目标类别和位置的预测。
2025-03-12 16:27:11
870
原创 图像识别技术与应用（十五）
本节课学习了目标检测项目，目标检测是计算机视觉领域的重要任务，主要是识别图片中有哪些物体并且找到物体的存在位置。多任务：位置 + 类别目标种类与数量繁多的问题目标尺度不均的问题 遮挡、声等外部环境干扰。
2025-03-11 10:39:06
1325
原创 学习总结项目
未来计划进一步优化模型，如尝试更先进的模型架构、收集更多高质量数据，提升模型在复杂场景下的性能，以拓展模型在实际业务中的应用范围。制作可以按照数据获取、数据预处理、选择模型、模型预测的流程进行讲述，可以叠加介绍项目背景、模型选择、模型预测、可视化界面使用展示、未来规划、未来展望等进行完善。本次项目我使用了VGG19模型、AlexNet模型和已使用的VGG16模型进行对比，在已有的条件下，对代码进行更改是，结果展示中，VGG19模型的准确率要比VGG16高，而AlexNet模型的准确率却要低于VGG16。
2025-03-10 17:26:31
317
原创 图像识别技术与应用（十四）
它从 MNIST 数据集中加载数据，构建一个包含两个隐藏层的全连接神经网络，使用交叉熵损失函数和随机梯度下降（SGD）优化器进行训练，最后绘制训练损失曲线。定义损失函数可以通过自定义方法或使用PvIorch内署的损失函数，如回归使用的loss fimem, SELoss0)，分类使用的m.BCELoss等损失函数。optimizer.zero grad()在默认情况下梯度是累加的，需要手工把梯度初始化或清零，调用optimizer.zero_grad()即可。：训练的轮数，即整个数据集被训练的次数。
2025-03-06 11:05:38
689
原创 图像识别技术与应用（十三）
综上所述，这段代码通过构建多个不同的 CNN 模型，并采用集成学习的方法对 CIFAR - 10 数据集进行图像分类，同时单独训练和评估了 VGG16 模型。在每个训练轮次中，依次对每个模型进行前向传播、计算损失和反向传播，最后更新所有模型的参数。在测试阶段，对 VGG16 模型进行预测，统计正确预测数量，并输出每个训练轮次的正确率。在每个训练轮次中，对 VGG16 模型进行前向传播、计算损失和反向传播，更新模型参数。）确定最终的预测结果，统计集成模型和每个模型的正确预测数量，并输出正确率。
2025-03-05 17:45:39
528
原创 图像识别技术与应用（十二）
这段代码是用于评估对于已经训练好的神经网络的准确率，correct是用于记录预测正确的样本数量，所以初始值为0，total是用于记录测试集中样本总数，所以初始值为0；这段代码是计算输出一个分类模型在测试集上，创建两个长度为10的列表，分别记录每个类别预测正确的样本数和每个类别样本的总数量，关闭了梯度计算，第一个for循环遍历测试数据加载器，第二个for循环统计每个类别的正确预测数和总数，第三个for循环是计算并输出每个类别的准确率，发现10个样本中，准确率最高的是car，为73%，最低的是cat-28%
2025-03-04 11:17:08
622
原创 图像识别技术与应用（十一）
trainloader是之前定义的数据加载器，用于加载训练数据。本节课回顾了上周所讲过的图像分类问题，理解到图像是可以有三种分类：通用的多类别图像分类，子类细粒度图像分类，实例级图像分类；transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))：对图像进行归一化处理，有三个值是因为有三个通道-RGB）（transforms.ToTensor()：将图像转换为Tensor格式，通常会将图像的像素值从[0, 255]的范围转换为[0, 1]的范围。
2025-03-03 17:38:09
615
原创 图像识别技术与应用（十）
采用深度残差网络（ResNet）、密集连接网络（DenseNet）等非常深的神经网络架构，通过大量的卷积层、池化层、归一化层等构建极深的网络，能自动学习到图像中极其复杂和抽象的特征表示，有效捕捉图像的全局和局部信息。它展示了模型预测结果与真实标签之间的关系，矩阵的行表示真实类别，列表示预测类别，矩阵中的每个元素表示相应真实类别被预测为相应预测类别的样本数量。一般情况下，模型的精度越高，说明模型的效果越好。准确率(Precision)：又称为查准率，表示在模型识别为正类的样本中，真正为正类的样本所占的比例。
2025-02-28 10:27:21
928
原创 图像识别技术与应用（九）
1.导入tensorboard，实例化SummaryWriter类，指明记录日志路径等信息。#实例化SummaryWriter，并指明日志存放路径。在当前目录没有logs目录将自动创建。#调用实例#关闭writer2.调用相应的API接口，接口一般格式为：#即add_xxx(标签，记录的对象，迭代次数)其中，xxx指的是各种可视化方法。3.启动tensorboard服务。cd到logs目录所在的同级目录，在命令行输入如下命令，logdir等式右边可以是相对路径或绝对路径。
2025-02-27 13:27:31
284
原创 图像识别技术与应用（八）
(为数据加载和处理提供了基础的抽象和工具，是构建数据管道的核心)包含Dataset和DataLoader两个主要类。Dataset用于表示数据集，定义了如何获取数据集中的样本；DataLoader负责按批次加载数据，并提供了多进程加载、数据打乱等功能。(专门用于图像数据的预处理和增强，提升模型的泛化能力)
2025-02-26 17:40:53
598
原创 图像识别技术与应用（七）
本节课继续学习了nn.Model基类并应用模型容器构建模型，学习三种不同的模型，学习了自定义网络模块，里面讲了残差块，还学习了组合这两个模块得到现代经典RetNet18网络结构。残差块有两种，一种是正常的模块方式，将输入与输出相加，然后应用激活函数ReLU。另一种是为使输入与输出形状一致，需添加通过1×1卷积调整通道和分辨率。一、使用nn.Sequential模型容器。二、使用nn.ModuleList模型容器。三、使用nn.ModuleDict模型容器。5.循环测试或验证模型。1.加载预处理数据集。
2025-02-25 11:31:47
271
原创 图像识别技术与应用（六）
nn.functional中的函数，写法一般为nn.funtional.xxx，如nn.funtional.linear、nn.funtional.conv2d、nn.funtional.cross_entropy等。3.继承nn.Module基类构建模型，又使用相关模型容器(nn.Sequential,nn.ModuleList,nn.ModuleDict等）进行封装。nn.Module，写法一般为nn.Xxx，如nn.Linear、nn.Conv2d、nn.CrossEntropyLoss等。
2025-02-24 16:50:07
759
原创 图像识别技术与应用（五）
通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。全连接层：在卷积层和池化层之后，是3个全连接层，前两个全连接层有4096个神经元，最后一个全连接层的神经元数量根据具体的分类任务而定。可根据数据的复杂度，进行居中和缩放，一共有50000个训练数据，10000个测试数据，图像大小是28*28，一共有10类（0-9）最后是三个全连接层，三个全连接层是进行整合，运用线性回归的方式进行相连，整合目前所提取的特征，并输出。
2025-02-21 10:29:20
890
原创 图像识别技术与应用（四）
本节课学习了多层感知机、图像卷积、填充和步幅、多通道输入输出、池化层，了解到多层感知机的原则，图像卷积的使用（RGB（red、green，blue）多通道卷积），卷积数据如何计算，填充是如何填充（通常在最外层进行填充，填充的元素通常是。），步幅是如何计算，填充和步幅可以改变输出的高度和宽度，最大池化层和平均池化层是如何选择数据作为输出，回顾了参数和超参数（参数是模型在训练过程中自动学习和调整的变量，超参数是在模型训练之前手动添加的变量）。3.步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状。
2025-02-20 10:23:51
576
原创 图像识别技术与应用（三）
采用梯度下降法，根据预测错误更新权重，公式为w_{i}^{new}=w_{i}^{old}+\Delta w_i，\Delta w_i=\eta(y - \hat{y})x_i，\eta是学习率，y是真实标签，\hat{y}是预测标签。一般来说，模型的目标是在降低训练误差的同时，使泛化误差也尽可能小，以保证模型在实际应用中的有效性。感知机的输出可表示为：y = f(\sum_{i = 1}^{n}w_ix_i - \theta)，其中x_i是输入，w_i是权重，\theta是阈值，f是激活函数。
2025-02-19 17:11:31
635
原创 图像识别技术与应用（二）
损失函数：一般采用交叉熵损失函数，J(\theta)=-\frac{1}{m}\sum_{i = 1}^{m}\sum_{k = 1}^{K}I(y^{(i)}=k)\log p(y^{(i)}=k|x^{(i)})，其中I(\cdot)是指示函数。通常使用均方误差（MSE）作为损失函数，即J(\theta)=\frac{1}{2m}\sum_{i = 1}^{m}(h_{\theta}(x^{(i)})-y^{(i)})^2，其中m是样本数量，h_{\theta}(x)是模型的预测值。
2025-02-18 11:30:40
1036
原创 图像识别技术与应用(一)
• 疾病预测：通过分析患者的病历、基因数据、生活习惯等多源数据，建立疾病预测模型，提前预测疾病的发生风险，如预测糖尿病、心血管疾病等慢性病的发病概率，帮助医生进行早期干预和预防。• 自动驾驶：自动驾驶汽车通过机器学习算法处理摄像头、雷达等传感器获取的数据，识别道路、交通标志、行人、其他车辆等物体，学习不同场景下的驾驶策略，实现自动加速、减速、转向等操作。• 能源管理：机器学习算法可以根据家庭的用电习惯、环境温度等数据，预测家庭的能源需求，自动调节电器设备的使用时间和功率，实现能源的优化管理，达到节能目的。
2025-02-17 18:30:18
1126
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人