- 博客(35)
- 收藏
- 关注
RSS订阅原创 spark
第四章第三节 Spark-Streaming核心编程（二）DStream创建Kafka数据源：ReceiverAPI：需要一个专门的 Executor 去接收数据，然后发送给其他的 Executor 做计算。存在的问题，接收数据的 Executor 和计算的 Executor 速度会有所不同，特别在接收数据的 Executor速度大于计算的 Executor 速度，会导致计算数据的节点内存溢出。DirectAPI：是由计算的 Executor 来主动消费 Kafka 的数据，速度由自身控制。
2025-05-07 14:25:32
468
原创 UpdateStateByKeyUpdateStateByKey
➢ saveAsObjectFiles(prefix, [suffix])：以 Java 对象序列化的方式将 Stream 中的数据保存为SequenceFiles . 每一批次的存储文件名基于参数中的为"prefix-TIME_IN_MS[.suffix]". ➢ saveAsHadoopFiles(prefix, [suffix])：将 Stream 中的数据保存为 Hadoop files. 每一批次的存储文件名基于参数中的为"prefix-TIME_IN_MS[.suffix]"。
2025-05-07 14:24:49
409
原创 【无标题】kafka
2.2查看所有的topickafka-topics.sh --list --zookeeper node01:2181,node02:2181,node03:21812.3查看某个topic的详细信息kafka-topics.sh --describe --zookeeper node01:2181,node02:2181,node03:2181 --topic test1ISR: In-Sync Replicas 可以提供服务的副本。读取数据时，分区间的数据是无序的，分区中的数据是有序。
2025-05-07 14:22:59
966
原创 matplotlib
plot() ：用于画图，它可以绘制点和线，语法格式如下：plot([x], y, [fmt], [x2], y2, [fmt2], ..., **kwargs)plot() ：用于画图，它可以绘制点和线。· 绘制一条不规则线，坐标为 (1, 3)、(2, 8)、(6, 1)、(8, 10)plot() ：用于画图，它可以绘制点和线。· 绘制一条不规则线，坐标为 (1, 3)、(2, 8)、(6, 1)、(8, 10)fmt 参数定义了基本格式，如标记、线条样式和颜色。grid()：来设置图表中的网格线。
2025-05-07 14:22:14
270
原创 数据图形化
plot() ：用于画图，它可以绘制点和线，语法格式如下：plot([x], y, [fmt], [x2], y2, [fmt2], ..., **kwargs)plot() ：用于画图，它可以绘制点和线。· 绘制一条不规则线，坐标为 (1, 3)、(2, 8)、(6, 1)、(8, 10)plot() ：用于画图，它可以绘制点和线。· 绘制一条不规则线，坐标为 (1, 3)、(2, 8)、(6, 1)、(8, 10)fmt 参数定义了基本格式，如标记、线条样式和颜色。grid()：来设置图表中的网格线。
2025-05-07 14:21:45
263
原创 spark
➢ 分布式：数据存储在大数据集群不同节点上➢ 数据集：RDD 封装了计算逻辑，并不保存数据➢ 数据抽象：RDD 是一个抽象类，需要子类具体实现➢ 不可变：RDD 封装了计算逻辑，是不可以改变的，想要改变，只能产生新的 RDD，在新的 RDD 里面封装计算逻辑➢ 可分区、并行计算核心属性➢ 分区列表RDD 数据结构中存在分区列表，用于执行任务时并行计算，是实现分布式计算的重要属性。➢ RDD 之间的依赖关系RDD 是计算模型的封装，当需求中需要将多个计算模型进行组合时，就需要将多个 RDD 建立依赖关系。
2025-04-09 17:05:54
794
原创 spark
Spark核心模块➢ Spark Core Spark Core 中提供了 Spark 最基础与最核心的功能，Spark 其他的功能如：Spark SQL，Spark Streaming，GraphX, MLlib 都是在 Spark Core 的基础上进行扩展的 ➢ Spark SQL Spark SQL 是 Spark 用来操作结构化数据的组件。但是你也要记住，Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱一些。
2025-04-08 10:49:07
441
原创 Scala set集合
默认情况下， Scala 使用的是不可变集合， 如果你想使用可变集合， 需要引用 scala.collection.mutable.Set。扁平化+映射 注：flatMap 相当于先进行 map 操作，在进行 flatten 操作集合中的每个元素的子元素映射到某个函数并返回新集合。Scala 中的 Map 和 Java 类似，也是一个散列表，它存储的内容也是键值对（key-value） 映射。Reduce 简化（归约） ：通过指定的逻辑将集合中的数据进行聚合，从而减少数据，最终获取结果。
2025-04-07 16:44:11
362
原创 scala
第二种，一个类（Sub）混入的两个 trait（TraitA，TraitB）中具有相同的具体方法，且两个 trait 继承自相同的 trait（TraitC），及所谓的“钻石问题”，解决这类冲突问题，Scala 采用了特质叠。由于一个类可以混入（mixin）多个 trait，且 trait 中可以有具体的属性和方法，若混入的特质中具有相同的方法（方法名，参数列表，返回值均相同），必然会出现继承冲突问题。Scala 不可变集合，就是指该集合对象不可修改，每次修改就会返回一个新对象， 而不会对原对象进行修改。
2025-04-03 12:53:53
432
原创 Scala
包说明：Scala 有两种包的管理风格，一种方式和 Java 的包管理风格相同，每个源文件一个包（包名和源文件所在路径不要求必须一致），包名用“.”进行分隔以表示包的层级关系，如com.zpark.scala。注意‼️若使用 Java 的包管理风格，则包对象一般定义在其对应包下的 package.scala 文件中，包对象名与包名保持一致。包对象：在 Scala 中可以为每个包定义一个同名的包对象，定义在包对象中的成员，作为其对应包下所有 class 和 object 的共享变量，可以被直接访问。
2025-04-02 16:55:10
531
原创 第 3 章 运算符Scala 运算符的使用
var r1: Int = 10 / 3 // 3 println("r1=" + r1)var r2: Double = 10 / 3 // 3.0 println("r2=" + r2)var r3: Double = 10.0 / 3 // 3.3333 println("r3=" + r3)println("r3=" + r3.formatted("%.2f")) // 含义：保留小数点 2位，使用四舍五入关系运算符（比较运算符）基本语法运算符运算范例结果==相等于4==3false!
2025-04-01 10:53:38
1604
原创 Scala
方法 -方法描述的基本的行为，一个类可以包含多个方法。然而以"$"开头的标识符为保留的 Scala 编译器产生的标志符使用，应用程序应该避免使用"$"开始的标识符，以免造成冲突。你可以在"之间使用任何有效的 Scala 标志符，Scala 将它们解释为一个 Scala 标志符，一个典型的使用为 Thread 的 yield 方法， 在 Scala 中你不能使用 Thread.yield()是因为 yield 为 Scala 中的关键字， 你必须使用 Thread.`yield`()来使用这个方法。
2025-03-27 11:09:01
502
原创 U-netM 整体结构
5*64 =320 ， 最终组合得到全部特征。现在来看 ， 很多视觉任务都可以套用这招。M 训练的时候同样会用到L4 ，效果还不错。M 以前我们都是加法 ， 现在全都要。把能拼能凑的特征全用上就是升级版了。不同的max pool整合低阶特征。这么简单的结构就能把分割任务做好。起初是做医学方向 ， 现在也是。其实跟densenet思想一致。损失由多个位置计算 ， 再更新。（X1和X2 ， 轮廓之类的）也是很常见的事 ， 多输出。简单但是很实用 ，应用广。（感受野大的 ， 全局的）特征融合 ，拼接更全面。
2025-03-21 19:14:45
216
原创 图像分割算法
VOC数据集：一共2913张图，1464张训练图片，1449张验证图片· Cityscape数据集：5000张精细标注的图像(2975张训练图、500张验证图和1525张测试图)、20000张粗略标注的图像· Cityscape数据集：语义分割和实例分割· Pixel Accuracy：逐像素分类精度。· 实例分割：只预测前景目标的类别属性以及边框，个体ID，每一个像素可以属于多个ID。· 图像分割：预测目标的轮廓。· 全景分割：每个像素点分配一个语义类别和一个唯一的实例ID。· 反卷积网络：解码器。
2025-03-20 09:28:29
229
原创 10.YOLOV4
1.整体介绍（Optimal Speed and Accuracy of Object Detection）虽然作者换了 ， 但精髓没变！这就得轮到PAN登场了 ， 思想也很简单M ish：（也许就是明日之星）别一棒子全给打死 ， 给个改过自新的机会Relu有点太绝对了 ， M ish更符合实际公式：f(α)=·tanh(ln(1+ew))但是计算量确实增加了 ，效果会提升一点eliminate grid sensitivity比较好理解 ， 坐标回归预测值都在0-1之间 ， 如果在grid边界怎么表示？
2025-03-14 10:15:40
886
原创 YOLO-V3
残差连接-为了更好的特征从今天的角度来看，基本所有网络架构都用上了残差连接的方法。13*13特征图上：(116x90)，(156x198)，(373x326)26*26特征图上：(30x61)，(62x45)，(59x119)52*52特征图上：(10x13)，(16x30)，(33x23)特征做的更细致，融入多持续特征图信息来预测不同规格物体。先验框更丰富了，3种scale，每种3个规格，一共9种。为了能检测到不同大小的物体，设计了3个scale。YOLO-V2中选了5个，这回更多了，一共有9种。
2025-03-13 10:23:09
575
原创 9.YOLOV1和YOLOV2.pptx
使用高分辨率分类器后，YOLOv2的mAP提升了约4%DarkNet，实际DarkNet，实际。使用高分辨率分类器后，YOLOv2的mAP提升了约4%DarkNet，实际DarkNet，实际。通过引入anchor boxes，使得预测的box数量更多（13*13*n）通过引入anchor boxes，使得预测的box数量更多（13*13*n）经过Batch Normalization处理后的网络会提升2%的mAP。经过Batch Normalization处理后的网络会提升2%的mAP。
2025-03-12 16:01:19
629
原创 目标检测项目
4大类，20小类VOC 2007：9963图片 /24640目标VOC 2012：23080图片 /54900目标· COCO数据集：起源于微软2014年出资标注的MS COCO数据库。包含20万个图像80个类别超过50万个目标标注平均每个图像的目标数是7.2YOLO(TXT)格式：(x,y,w,h)分别代表中心点坐标和宽、高x,y,w,h均为归一化结果VOC(XML)格式：(Xmin,Ymin,Xmax,Ymax)分别代表左上角和右下角的两个坐标。
2025-03-11 09:55:57
735
原创 总结图像识别技术与应用
多层感知机十分适合处理表格数据，行对应样本，列对应特征。使用一个还不错的相机采集RGB图片（3600万个像素）使用 100 个神经元单隐含层的 MLP ，模型有 36 亿个参数远超过地球上的狗和猫的数量➢平移不变性不管检测对象出现在图像中的哪个位置，神经网络的前面几层都应该对相同的图像区域具有相似的反应。➢局部性神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远的区域的关系。 卷积层将输入和卷积核进行交叉相关，加上偏移后得到输出核矩阵和偏移是可学习的参数核矩阵的大小是超参数填充和步
2025-03-10 16:55:45
1961
原创 集成算法学习
根据个体学习器的生成方式，目前的集成学习方法大致可以分为两类：①Bagging：个体学习器间不存在强依赖关系、可同时生成的并行化方法，代表为随机森林。随机森林优势：①它能够处理很高维度（feature很多）的数据，并且不用做特征选择②在训练完后，它能够给出哪些feature比较重要③容易做成并行化方法，速度比较快④可以进行可视化展示，便于分析。·Bagging：训练多个分类器取平均。·集成学习(ensemble learning)通过构建并结合多个学习器来完成学习任务·集成学习的结果通过投票法产生?
2025-03-05 16:13:29
679
原创 图像分类项目
FP（False postive,假正例）——将反类预测为正类数。FN（False negative,假反例）——将正类预测为反类数。精确率(Accuracy)：精确率是最常用的分类性能指标。可以用来表示模型的精度，即模型识别正确的个数/样本的总个数。一般情况下，模型的精度越高，说明模型的效果越好。准确率(Precision)：又称为查准率，表示在模型识别为正类的样本中，真正为正类的样本所占的比例。正类的样本的数量占总的正类样本数量的比值。· 将不同的图像，划分到不同的类别标签，实现最小的分类误差。
2025-03-01 14:16:46
277
原创 图像分类项目
可以用来表示模型的精度，即模型识别正确的个数/样本的总个数。主对角线的元素之和为正确分类的样本数，其余元素之和为错误分类的样本数。准确率(Precision)：又称为查准率，表示在模型识别为正类的样本中，真正为正类的样本所占的比例。召回率(Recall)：又称为查全率，表示模型正确识别出为正类的样本的数量占总的正类样本数量的比值。对于k分类问题，混淆矩阵为k*k的矩阵，元素Cij表示第i类样本被分类器判定为第j类的数量。· 将不同的图像，划分到不同的类别标签，实现最小的分类误差。
2025-02-28 10:26:40
406
原创 Pytorch数据处理工具箱
cd到logs目录所在的同级目录，在命令行输入如下命令，logdir等式右边可以是相对路径或绝对路径。9） transforms提供了对PIL Image对象和Tensor对象的常用操作。transforms提供了对PIL Image对象和Tensor对象的常用操作。transforms提供了对PIL Image对象和Tensor对象的常用操作。Scalar 用于可视化单一数值，例如损失值、准确率等随训练过程的变化。Text 用于可视化文本数据，例如模型生成的文本或训练日志。
2025-02-27 10:18:59
561
原创 Pytorch数据处理工具箱
drop_last dataset 中的数据个数可能不是 batch_size的整数倍，drop_last为True会将多出来不足一个batch的数据丢弃。pin_memory 是否将数据保存在锁页内存（pin memory区），其中的数据转到GPU会快一些。pin_memory 是否将数据保存在锁页内存（pin memory区），其中的数据转到GPU会快一些。9） transforms提供了对PIL Image对象和Tensor对象的常用操作。Text 用于可视化文本数据，例如模型生成的文本或训练日志。
2025-02-26 16:41:16
571
原创 Pytorch神经网络工具箱
该方法构建时不能给每个层指定名称,如果需要给每个层指定名称，可使用add_module方法或OrderedDict方法。·残差块有两种，一种是正常的模块方式，将输入与输出相加，然后应用激活函数ReLU。2.继承nn.Module基类并应用模型容器构建模型。1.使用nn.Sequential按层顺序构建模型。Pytorch神经网络工具箱。
2025-02-25 11:28:57
660
原创 Pytorch神经网络工具箱
nn.Xxx继承于nn.Module，nn.Xxx 需要先实例化并传入参数，然后以函数调用的方式调用实例化的对象并传入输入数据。dropout操作在训练和测试阶段是有区别的，使用nn.Xxx方式定义dropout，在调用model.eval()之后，自动实现状态的转换，而使用nn.functional.xxx却无此功能。继承nn.Module基类构建模型，又使用相关模型容器(nn.Sequential,nn.ModuleList,nn.ModuleDict等）进行封装。继承nn.Module基类构建模型。
2025-02-24 16:03:17
1342
原创 LeNet架构
通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。表示学习：如果有一种算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能，那么这种学习就可以叫作表示学习。AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。不同次数的重复VGG块，可获得不同的架构，例如VGG-16，VGG-19，......· 中层卷积核提取：条纹、纹路、形状等中层纹理特征。
2025-02-21 09:28:00
326
原创 卷积神经网络
通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。填充p_h 行和p_w列，则输出为：(n_h-k_h+p_h+1)×(n_w-k_w+p_w+1)神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远的区域的关系。步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状。
2025-02-20 09:59:12
290
原创 初识图像识别技术与应用
PyTorch是由Meta AI(Facebook)人工智能研究小组开发的一种基于Lua编写的Torch库的Python实现的深度学习库，目前被广泛应用于学术界和工业界，PyTorch在API的设计上更加简洁、优雅和易懂。流程：在梯度法中，函数的取值从当前位置沿着梯度方向前进一定的距离，然后在新的方向重新求梯度，再沿着新梯度的方向前进，如此反复，不断的沿梯度方向前进。梯度指示的反向是各点处的函数值减小最多的方向,所以无法保证梯度所指的方向就是函数的最小值或者真正应该前进的方向。
2025-02-19 16:56:24
430
原创 多层感知机
激活函数：刚才登场的h（x）函数会将输入信号的总和转换为输出信号，这种函数一般称为激活函数（activation function）。神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。（3） 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。好"了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质——过拟合；如“激活”一词所示，激活函数的作用在于决定如何来激活输入信号的总和。
2025-02-19 16:42:29
440
原创 线性回归和softmax回归
流程：在梯度法中，函数的取值从当前位置沿着梯度方向前进一定的距离，然后在新的方向重新求梯度，再沿着新梯度的方向前进，如此反复，不断的沿梯度方向前进。梯度指示的反向是各点处的函数值减小最多的方向,所以无法保证梯度所指的方向就是函数的最小值或者真正应该前进的方向。假设 1:影响房价的关键因素：卧室数目，卫浴数目和房子大小，分别用x_beds,x_baths,x_area表示。所以在寻找函数的最小值的位置任务中，以梯度的信息为线索，决定前进的方向。严格的讲，梯度指示的反向是各点处的函数值减小最多的方向。
2025-02-18 10:32:41
359
原创 初识人工智能
日常生活中人工智能学习：语音识别系统：小爱、siri等采集一个包含大量音频样本的数据集，并对包含和不包含唤醒词的样本进行标注；设计一个灵活的程序算法，其输出由许多参数决定，然后使用数据集来确定当下的“最佳参数集”，这些参数通过某种性能度量方式来达到完成任务的最佳性能。无论什么类型的机器学习问题，都会遇到这些组件：1. 可以用来学习的数据（data）；人工智能：用人工的方法在机器（计算机）上实现的智能；人工智能学科：人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。
2025-02-17 17:06:55
241
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人