2502_90678402的博客

原创 大数据技术之Scala

原创 大数据技术之Scala

原创 大数据技术之Scala

任务提交后，ResourceManager启动ApplicationMaster，后者申请资源并启动Executor。Spark将作业拆分为多个Stage，以DAG形式表示任务依赖关系，避免循环依赖，优化执行顺序。Master：资源调度管理者（类似YARN的ResourceManager），负责分配集群资源。角色：Spark作业的“大脑”，负责解析用户代码、生成任务并调度执行。-集群中同时执行的任务数量，可通过配置动态调整，直接影响作业效率。Worker：集群中的物理节点，执行Master分配的任务。

原创 大数据技术与Scala

dequeue：移除并返回队首元素。enqueue：添加元素到队尾。通过条件筛选集合元素，返回新集合。先映射后展平，常用于拆分字符串。按规则将元素分组为Map结构。目标: 统计单词频率并取前三名。对每个元素应用函数，生成新集集合。带初始值的归约，适合复杂聚合操作。WordCount 案例实现。特点: 先进先出（FIFO）将嵌套集合展平为单层集合。队列（Queue）操作。

原创 大数据技术之Scala

默认情况下， Scala 使用的是不可变集合， 如果你想使用可变集合， 需要引用。元组也是可以理解为一个容器，可以存放各种相同或不同类型的数据。基于函数的排序，通过一个 comparator 函数，实现自定义排序的逻辑。说明：二维数组中有三个一维数组，每个一维数组中有四个元素。对一个集合进行自然排序，通过传递隐式的Ordering。Scala 中的 Map 和 Java 类似，对一个属性或多个属性进行排序，通过它的类型。是将多个无关的数据封装为一个整体，称为。，它存储的内容也是键值对（

原创 大数据技术之Scala

在 Java 中，访问权限分为：public，private，protected 和默认。在 Scala 中，你可以通过类似的修饰符达到同样的效果。），包名用“.”进行分隔以表示包的层级关系，如com.zpark.scala。Scala 有两种包的管理风格，一种方式和 Java 的包管理风格相同，每个源文件一个包（Scala 的面向对象思想和 Java 的面向对象思想和概念是一致的。类：可以看成一个模板对象：表示具体的事物。增加包访问权限，包名下的其他类也可以使用。的包对象，定义在包对象中的成员，作为其。

原创 大数据技术之Scala

解决问题时，将问题分解成一个一个的步骤，将每个步骤进行封装（函数），通过调用这些封装好的步骤，解决问题。解决问题，分解对象，行为，属性，然后通过对象的关系以及行为的调用来解决问题。语言是一个完全函数式编程语言。函数的本质：函数可以当做一个值进行传递。语言是一个完全面向对象编程语言。万物皆对象对象的本质：对数据和行为的一个封装。例如：请求->用户名、密码->连接 JDBC->读取数据库。在Scala 中函数式编程和面向对象编程完美融合在一起了。行为：登录、连接 JDBC、读取数据库属性：用户名、密码。

原创 大数据技术之Scala

if i!= 2)需求：输出 1 到 5 中，不等于 3 的值= 3) {张三丰")by 2说明：by 表示步长需求：输出 1 到 10 以内的所有奇数by输出结果i=9for(i <- 1to3;j <- 1to说明：没有关键字，所以范围后一定要加；来隔断逻辑上面的代码等价;j = 4 - i。

原创 Scala中while和for循环

While循环= ' ') {index += 1For循环sum += i。

原创 Scala基础语法和简介

你可以在"之间使用任何有效的 Scala 标志符，Scala 将它们解释为一个 Scala 标志符，一个典型的使用为 Thread 的 yield 方法， 在 Scala 中你不能使用 Thread.yield()是因为 yield 为 Scala 中的关键字， 你必须使用 Thread.`yield`()来使用这个方法。泛型类，协变和逆变，标注，类型参数的上下限约束，把类别和抽象类型作为对象成员，复合类型，引用自己时显式指定类型，视图，多态方法。·方法 -方法描述的基本的行为，一个类可以包含多个方法。

原创 图像识别技术与应用

将不同的像素划分到不同的类别，非常细粒度的分类。人像抠图，医学组织提取，遥感图像分析，自动驾驶，材料图像等。个城市在春夏秋三个季节不同时间段不同场景、背景的街景图。实例分割(instance segmentation)：以场景理解为目标，特别选取比较复杂的日常场景。：每一个像素必须只能属于一类，预测结果为掩膜。：每个像素点分配一个语义类别和一个唯一的实例。：只预测前景目标的类别属性以及边框，个体。年开始引进了语义分割和实例分割的标注。是一个世界级的计算机视觉挑战赛。每个类内被正确分类像素数的比例。

原创 图像识别技术与应用

其实就是用最大池化来满足最终输入特征一致即可。用随机值或训练集的平均像素值替换图像的区域。其中分子计算预测框与真实框的中心点欧式距离。分母是能覆盖预测框与真实框的最小BOX。之前使用NMS来决定是否删除一个框。接下来很多小模块都是这个出发点。，从数据层面和网络设计层面来进。训练的时候要改变输入数据的大小。每一个block按照特征图的。就是遍历各个框跟置信度高的。其中M表示高置信度候选框。感觉能做的都让他给做了。根据概率设置随机隐藏。通过引入噪音点来增加。

原创 图像识别技术与应用

13*13特征图上：(116x90)，(156x198)，(373x326)26*26特征图上：(30x61)，(62x45)，(59x119)52*52特征图上：(10x13)，(16x30)，(33x23)终于到V3了，最大的改进就是网络结构，使其更适合小目标检测。特征做的更细致，融入多持续特征图信息来预测不同规格物体。先验框更丰富了，3种scale，每种3个规格，一共9种。YOLO-V2中选了5个，这回更多了，一共有9种。YOLO-V2中选了5个，这回更多了，一共有9种。3种scale，更多先验框。

原创 图像识别技术与应用

faster-rcnn系列选择的先验比例都是常规的，但是不一定完全适合数据集。通过引入anchor boxes，使得预测的box数量更多（13*13*n）经过Batch Normalization处理后的网络会提升2%的mAP。可能导致模型水土不服，V2训练时额外又进行了10次448*448的微调。tx=1,则将bbox在x轴向右移动wp；这样会导致收敛问题，模型不稳定，尤其是刚开始进行训练的时候。V1训练时用的是224*224，测试时使用448*448。网络的每一层的输入都做了归一化，收敛相对更容易。

原创 图像识别技术与应用

(Xmin, Ymin, W, H)，其中x,y,w,h均不是归一化后的数值，分别代表左上角坐标和宽、高。(Xmin,Ymin,Xmax,Ymax)分别代表左上角和右下角的两个坐标。类似于传统方法，滑动窗口法穷举出许多，然后再根据置信度之类的进行筛选。重复上述过程，直到候选框列表为空，返回输出列表。设定目标框的置信度阈值，常用的阈值是。添到输出列表，将其从候选框列表删除。来表示目标的大小（面积大小）,y,w,h均为归一化结果。来表示目标的形状（长宽比）候选框列表中的所有框依次与。目标种类与数量繁多的问题。

原创 关于两次项目的学习感悟

这提醒我们，在解决实际问题时，细节往往决定成败，需要耐心和细致。3. 持续学习与调整：代码中动态调整学习率的策略展示了在训练过程中不断调整和优化的必要性。这反映了在学习和工作中，我们也需要根据反馈不断调整策略，以达到更好的效果。总的来说，这两次项目不仅是一个技术示例，更是一个关于如何解决问题、持续学习和优化过程的生动教材。通过学习和实践，我们可以不断提升自己的技术能力和解决问题的能力。这启示我们，在工作和学习中，及时获取反馈并进行调整是非常重要的。这提醒我们，在面对复杂任务时，耐心和坚持是取得成功的关键。

原创 图像识别技术有应用

隐藏层使用ReLU激活函数，能引入非线性，增强模型的表达能力。可视化结果：文中提到后续会举例说明如何构建和训练模型，还解释了 model.train() 与 model.eval() 的使用场景，尤其是在包含Batch Normalization（BN）层和Dropout的模型中，训练和测试时分别调用这两个方法能让模型以合适的方式运行。数据处理：通过 torchvision 对下载的数据进行预处理，如归一化、转换为张量等操作，并使用 torch.utils 建立数据迭代器，便于按批次读取数据。

原创 图像识别技术与应用

2.集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务等。其核心思想是“多样性与投票”，即通过构建多个基学习器，并让它们对输入数据进行独立预测，然后通过投票等机制将各基学习器的预测结果结合起来，产生最终预测结果。集成学习能降低模型的泛化误差，提高准确度和鲁棒性，广泛应用于图像识别、文本分类等领域。1.对于一个复杂任务来说，将多个专家的判断进行适当的综合所得出的判断，要比其中任何一个专家单独的判断好。4.集成学习的结果通过投票法产生?

原创 图像识别技术与应用

图像识别技术与应用

原创 图像识别技术与应用

数据集分为5个训练批次和1个测试批次，每个批次有10000个图像。测试批次包含来自每个类别的恰好1000个随机选择的图像。训练批次以随机顺序选取剩余图像，但一些训练批次可能更多会选取来自一个类别的图像。图6-27 显示了数据集中涉及的10个类，以及来自每个类的10个随机图像。CIFAR-10数据集由10个类的60000个32x32彩色图像组成，每个类有6000个图像。有50000个训练图像和10000个测试图像。这10类都是彼此独立的，不会出现重叠，即这是多分类单标签问题。

原创 图像识别技术与应用

一般情况下，模型的精度越高，说明模型的效果越好。多类别分类模型各个类别之间的分类情况对于k分类问题，混淆矩阵为k*k的矩阵，元素Cij表示第i类样本被分类器判定为第j类的数量。主对角线的元素之和为正确分类的样本数，其余元素之和为错误分类的样本数。准确率(Precision)：又称为查准率，表示在模型识别为正类的样本中，真正为正类的样本所占的比例。召回率(Recall)：又称为查全率，表示模型正确识别出为正类的样本的数量占总的正类样本数量的比值。将不同的图像，划分到不同的类别标签，实现最小的分类误差。

原创 图像识别技术与应用

接着遍历神经网络的各层，针对包含“conv”的层（卷积层），提取其特征图，利用make_grid函数将特征图整理成网格形式，并通过add_image方法将特征图写入日志，以便在TensorBoard中可视化。1）导入tensorboard，实例化SummaryWriter类，指明记录日志路径等信息。2）调用相应的API接口，接口一般格式为：add_xxx(tag-name, object, iteration-number)#即add_xxx(标签，记录的对象，迭代次数)其中，xxx指的是各种可视化方法。

原创 图像识别技术与应用

但是DataLoader并不是迭代器，可以通过“iter”命令转换成迭代器。2.DataLoader：可以批量处理。·_getitem_一次只能获取一个样本。一：Pytorch数据处理工具箱。三：utils.data。二：数据处理工具箱概述。

原创 图像识别技术与应用

运行结果展示了模型的结构，包括每一层的名称和参数信息。定义了 ResNet18 类，在 __init__ 方法中初始化网络的各层，包括初始的卷积层、最大池化层，以及由不同残差块组成的四个Sequential模块，还有自适应平均池化层和全连接层。虽然图片中这部分代码没有完整展示，但 nn.ModuleList 通常用于将多个模块组合在一起，不过它不像 nn.Sequential 那样会自动按照顺序执行模块，更多是用于管理模块集合，在自定义 forward 方法中手动指定各模块的执行逻辑。

原创 图像识别技术与应用

nn.functional中的函数，写法一般为nn.funtional.xxx，如nn.funtional.linear、nn.funtional.conv2d、nn.funtional.cross_entropy等。继承nn.Module基类构建模型，又使用相关模型容器(nn.Sequential,nn.ModuleList,nn.ModuleDict等）进行封装。nn.Module，写法一般为nn.Xxx，如nn.Linear、nn.Conv2d、nn.CrossEntropyLoss等。

原创 图像识别技术与应用

• AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。• 今天，AlexNet已经被更有效的架构所超越，但它是从浅层⽹络到深层网络的关键一步。AlexNet由⼋层组成：五个卷积层、两个全连接隐藏层和一个全连接输出层。通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。不同次数的重复VGG块，可获得不同的架构，例如VGG-16，VGG-19，......

原创 图像识别技术与应用

在深度学习模型中，平均池化常用于最后的特征提取步骤，为全连接层提供输入。它通过将输入数据与卷积核进行交叉相关运算，即卷积核在输入数据上滑动并进行元素对应相乘后求和，从而得到输出特征图。核矩阵的大小，即卷积核的尺寸，是一个超参数，需根据具体任务和数据集进行选择，如3×3。平移不变性：不管检测对象出现在图像中的哪个位置，神经网络的前面几层都应该对相同的图像区域具有相似的反应。局部性：神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远的区域的关系。

原创 图像识别技术与应用：感知机

感知机作为神经网络的基础单元，在图像识别中虽因局限性被CNN等模型超越，但其核心思想（权重学习、激活函数、多层结构）仍是现代深度学习的基石。激活函数：阶跃函数（如Sigmoid或ReLU的早期形式），输出二值结果（0/1或-1/1）。其中 \(w_i\) 是权重，\(x_i\) 是输入，\(b\) 是偏置，\(y\) 是输出。线性不可分问题：无法解决非线性问题（如异或逻辑），需依赖多层结构（MLP）。其中 \(\eta\) 为学习率，\(L\) 为损失函数。是深度学习的基础，帮助理解神经网络训练机制。

原创 图像识别技术与应用

在深度学习中，小批量随机梯度下降（MBGD）是常用的求解算法，它结合了批量梯度下降（BGD）的稳定性和随机梯度下降（SGD）的效率。批量值太小，难以充分利用计算资源，因为模型更新频繁，导致收敛速度慢，且每次更新的梯度估计不够准确，可能使模型陷入局部最优。而批量值太大，则会浪费计算资源，因为每次更新使用的数据量增加，导致计算量增大，收敛速度变慢，且可能引起内存不足。缺点是，解决的问题相当有限。廉价又高质量的传感器、廉价的数据存储以及廉价计算的普及，特别是GPU的普及，使大规模的算力唾手可得。

原创 图像识别技术与应用的简单总结

4. 模型训练:使用大量标注数据训练机器学习模型，使其能够识别不同类别的图像。深度学习: 如卷积神经网络 (CNN)，能够自动学习图像特征，识别精度高。经典网络：如AlexNet、VGG、ResNet、Inception等。传统机器学习:如支持向量机 (SVM)、随机森林等，依赖人工设计特征。3. 特征提取: 利用算法提取图像的关键特征，如边缘、纹理、形状等。2. 预处理:对图像进行去噪、增强等操作，提升图像质量。5. 识别分类:将新图像输入训练好的模型，得到识别结果。