- 博客(35)
- 收藏
- 关注
RSS订阅原创 spark-core编程
RDD 的两种算子：转换算子和行动算子。RDD 根据数据处理方式的不同将算子整体上分为 Value 类型、双 Value 类型和 Key-Value 类型。算子实际上是一些函数，用于数据处理。
2025-04-10 18:36:51
1002
原创 Windows-spark安装过程
终端(win+r)（要开一个新的）输入spark-shell运行结果：出现下面的就成功了注意：把spark下载后放到的文件夹的那个名字里面不能带空格。
2025-04-08 11:15:09
533
原创 scala-集合3
过滤：遍历一个集合并从中获取满足指定条件的元素组成一个新的集合（筛选出满足条件的元素组成新集合。转换或映射（map）：将原始集合中的元素映射到某个函数。扁平化：取消嵌套格式，将嵌套元素和外层元素放在一起。扁平化+映射：flatMap相当于先进行 map 操作，在进行 flatten 操作（先进行映射操作，再进行扁平化操作。集合中的每个元素的子元素映射到某个函数并返回新集合分组（group）：按照指定规则对集合元素进行分组。简化（归约）和折叠：通过指定逻辑聚合数据，减小数据量。
2025-04-08 10:10:59
527
原创 scala-集合2
（1）[Any]存放任意数据类型（2）(3, 2, 5)初始化好的三个元素（3）ArrayBuffer 需要引入 scala.collection.mutable.ArrayBuffer。
2025-04-07 18:02:11
1148
原创 Scala-面向对象2和集合
使用 type 关键字可以定义新的数据数据类型名称，本质上就是类型的一个别名（1）Scala 的集合有三大类：序列 Seq、集 Set、映射 Map，所有的集合都扩展自 Iterable 特质。（2）对于几乎所有的集合类，Scala 都同时提供了可变和不可变的版本，分别位于以下两个包不可变集合：scala.collection.immutable可变集合：scala.collection.mutable。
2025-04-03 11:37:55
1336
原创 Scala-面向对象
回顾：Java 中的类如果类是 public 的，则必须和文件名一致。一般，一个.java 有一个 public 类注意：Scala中没有public，一个.scala中可以写多个类。
2025-04-02 17:35:56
992
原创 scala-函数式编程
函数 1：无参，无返回值函数 5：多参，无返回值函数 4：有参，有返回值函数 3：有参，无返回值函数 2：无参，有返回值函数 6：多参，有返回值// 函数 1：无参，无返回值println("无参，无返回值")test1()// 函数 2：无参，有返回值return "无参，有返回值"// 函数 3：有参，无返回值println(s)// 函数 4：有参，有返回值return s+"有参，有返回值"// 函数 5：多参，无返回值// 函数 6：多参，有返回值。
2025-04-01 11:25:04
977
原创 Scala(2)
另一个方法：(不用reverse，使用by，后面的数字前面加个负号，就倒着排序了)说明：将遍历过程中处理的结果返回到一个新 Vector 集合中，使用 yield 关键字。需求：将原数据中所有值乘以 2，并把数据返回到一个新的集合中。需求：使用循环守卫（guard）来打印1到10之间的所有。需求：输出 1 到 5 中，不等于 3 的值。需求：创建一个包含1-10之间所有偶数的列表。需求：输出 1 到 10 以内的所有奇数。需求：倒序打印 10 到 1。：鸡有23只，兔有12只。注意：开发中很少使用。
2025-03-31 18:00:07
559
原创 Scala基础
分为强类型语言和弱类型语言强类型语言：Javaint num=10;弱类型语言：JS、Scalavar x=111;val f=58;var定义变量；val定义常量//使用val定义的变量值是不可变的，相当于java里用final修饰的变量val i = 1//使用var定义的变量是可变的，在Scala中鼓励使用val//Scala编译器会自动推断变量的类型，必要的时候可以指定类型//变量名在前，类型在后。
2025-03-28 10:29:39
697
原创 Scala
Scala特性面向对象特性类和对象: Scala支持类和对象，可以定义属性和方法。继承和多态支持类的继承和多态，可以创建层次结构和重用代码。抽象类和特质可以定义抽象类和特质（traits），用于定义接口和实现部分行为。封装支持访问控制修饰符（public、protected、private），实现数据的封装。函数式编程高阶函数函数可以作为参数传递给另一个函数，或者从另一个函数返回。不可变性默认使用不可变数据结构，有助于避免副作用，提高代码的并发安全性。模式匹配。
2025-03-27 09:52:09
707
原创 图像识别-语义分割
可以根据速度要求来快速完成剪枝。各层统一用卷积得到64个特征图。把能拼能凑的特征全用上就是。很多视觉任务都可以套用这招。这么简单的结构就能把分割。densenet思想一致。因为前面也单独有监督训练。训练的时候同样会用到L4。概述就是编码解码过程。还引入了特征拼接操作。最终组合得到全部特征。
2025-03-21 08:47:57
420
原创 图像识别-YOLO系列v3
终于到V3了，最大的改进就是网络结构，使其更适合小目标检测特征做的更细致，融入多持续特征图信息来预测不同规格物体先验框更丰富了，3种scale，每种3个规格，一共9种softmax改进，预测多标签任务（图片展示了Uv3与其他两个网络的对比图，横轴代表预测时间，纵轴代表MAP（Mean Average Precision）。预测时间越短越好，MAP值越大越好。Uv3的优势：在coco数据集上，Uv3在速度和准确率上都表现最优。Uv3的主要改进网络结构。
2025-03-13 11:30:26
382
原创 图像识别-YOLO系列
经典的one-stage方法You Only Look Once，名字就已经说明了一切！把检测问题转化成回归问题，一个CNN就搞定了！可以对视频进行实时检测，应用领域非常广！（其中Reshape中30是5+5+20）10 =(X,Y,H,W,C)*B（2个）（其中C是置信度）当前数据集中有20个类别7*7表示最终网格的大小。
2025-03-12 16:27:52
1736
原创 图像识别-目标检测项目
YOLO系列：YOLO v1-v5 （YOLO 11不一定比YOLO 8好，因为过拟合和欠拟合方面的原因，模型选择应遵循简单有效原则，避免过拟合，不同数据集适合不同的模型，没有绝对的“最好”模型）经典发展线：R-CNN、SPP-Net、Fast R-CNN、 Faster R-CNN。：(Xmin, Ymin, W, H)，其中x,y,w,h均不是归一化后的数值，分别代表左上角坐标和宽、高。：(x,y,w,h)分别代表中心点坐标和宽、高x,y,w,h均为归一化结果。scale来表示目标的大小（面积大小）
2025-03-11 11:20:37
1459
原创 图像识别总结-手写数字识别项目，集成算法，pytorch实现cifar10多分类
在训练模型之前，我们需要定义一个损失函数和一个优化器。损失函数用于量化模型预测与真实标签之间的差异，优化器用于更新模型的权重。① 定义损失函数②定义优化器。
2025-03-10 18:17:55
498
原创 图像识别-手写数字识别项目
F.softmax函数中参数dim指维度，dim=0表示按列计算;dim=1表示按行计算。默认dim的方法已经弃用了，最好声明dim，否则会警告.导入tensorboard的SummaryWriter类，用于将训练过程中的日志写入到TensorBoard中，便于可视化分析。导入torchvision.transforms模块，它提供了许多常用的数据预处理操作，如裁剪、旋转、归一化等。从torch.utils.data模块导入DataLoader类，用于加载数据集并提供批量处理功能。
2025-03-06 16:07:17
261
原创 图像识别-pytorch实现cifar10多分类（2）
correct 用于记录预测正确的样本数量。total 用于记录总的测试样本数量。使用 torch.no_grad() 上下文管理器来关闭梯度计算，因为在测试阶段不需要计算梯度。每次迭代从 testloader 中获取一批测试数据，并将其转换为张量格式。将图像和数据转移到与模型相同的设备（CPU 或 GPU）上进行处理。labels.size(0) 获取当前批次中样本的数量，累加到 total 中。
2025-03-04 10:30:33
703
原创 图像识别-pytorch实现cifar10多分类
transforms.Compose: 将多个预处理步骤组合在一起。transforms.ToTensor(): 将PIL图像或NumPy数组转换为PyTorch张量，并将像素值从[0, 255]缩放到[0, 1]。transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)): 对图像进行标准化处理，使其均值和标准差符合指定的参数。
2025-03-03 17:02:41
1693
1
原创 大数据导论—概述
大数据特性有5个:数据量，多样性，价值，速度，真实性大数据则指PB（10的15次方）级及其以上的数据多样性:数据类型包括结构化数据，非结构化数据和半结构化数据。
2025-03-02 23:44:08
415
原创 删除pytorch
再用pip install numpy下载回来(删除和下载区别就一个是个有un-)，也可以把pip变成cond下载。举个例子(拿numpy)
2025-03-01 00:58:44
319
原创 图像识别—Pytorch数据处理工具箱(补充版)
使用TensorBoard的一般步骤如下。1）导入tensorboard，实例化SummaryWriter类，指明记录日志路径等信息。#实例化SummaryWriter，并指明日志存放路径。在当前目录没有logs目录将自动创建。#调用实例#关闭2）调用相应的API接口，接口一般格式为：#即add_xxx(标签，记录的对象，迭代次数)其中，xxx指的是各种可视化方法。3)启动tensorboard服务。
2025-02-27 23:55:38
328
原创 图像识别—pytorch基础代码
残差块有两种:①一种是正常的模块方式，将输入与输出相加，然后应用激活函数ReLU。②另一种是为使输入与输出形状一致，需添加通过1×1卷积调整通道和分辨率组合这两个模块得到现代经典RetNet18网络结构。
2025-02-25 18:57:39
251
原创 图像识别-卷积神经网络（补充）
YOLO（You Only Look Once）是一种流行的目标检测算法，它通过单个卷积神经网络（CNN）实现快速且准确的目标检测。conv3-64中的64是64个通道，3通常指的是卷积核（或过滤器）的大小，这里是3x3的尺寸。看到“conv3-64”时，它描述的是一个使用3x3大小的卷积核并且输出64个特征图的卷积层。不同次数的重复VGG块，可获得不同的架构，例如VGG-16，VGG-19，......此外，还有5个最大池化层分布在不同的卷积层之下。3x3 卷积（填充=1）（n层，m个通道）
2025-02-21 14:59:04
480
原创 图像识别技术与应用-卷积神经网络
卷积层将输入和卷积核进行交叉相关，加上偏移后得到输出核矩阵和偏移是可学习的参数核矩阵的大小是超参数填充和步幅可以改变输出的高度和宽度填充在输入周围添加额外的行/列，增加输出的高度和宽度步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状填充和步幅可用于有效地调整数据的维度AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。今天，AlexNet已经被更有效的架构所超越，但它是从浅层⽹络到深层网络的关键一步。
2025-02-20 11:20:24
719
原创 图像识别技术与应用-多层感知机
多层感知机使用隐藏层和激活函数来得到非线性模型常用激活函数是Sigmoid，Tanh，RELU使用Softmax来处理多分类超参数为隐藏层数和各个隐藏层大小。
2025-02-19 17:36:29
1020
原创 机器学习相关基础2，线性回归和softmax回归
PyTorch是由Meta AI(Facebook)人工智能研究小组开发的一种基于Lua编写的Torch库的Python实现的深度学习库，目前被广泛应用于学术界和工业界，PyTorch在API的设计上更加简洁、优雅和易懂。因此本课程我们选择PyTorch来进行开源学习。Pytorch兼容性强。
2025-02-18 15:16:43
1109
原创 机器学习相关基础
(也可以用草木皆兵来解释，学霸学习能力强，会学除了该学之外的跟这个有关的，当遇到叶子时，叶子没有锯齿，边缘是光滑的，当再遇到有锯齿的会认为不是叶子（过拟合)；仅仅拥有海量的数据是不够的，还需要正确的数据。什么才算真正的提高呢?在机器学习中，我们需要定义模型的优劣程度的度量，这个度量在大多数情况是“可优化”的，这被称之为目标函数。任一调整参数后的程序被称为模型，通过操作参数而生成的所有不同程序的集合称为“模型族”。当处理图像数据时，每一张单独的照片即为一个样本，它的特征由每个像素数值的有序列表示。
2025-02-17 19:17:40
337
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人