- 博客(14)
- 收藏
- 关注
RSS订阅原创 大数据技术之Scala
包说明：Scala 有两种包的管理风格，一种方式和 Java 的包管理风格相同，每个源文件一个包（包名和源文件所在路径不要求必须一致），包名用“.”进行分隔以表示包的层级关系，如com.zpark.scala。注意‼️若使用 Java 的包管理风格，则包对象一般定义在其对应包下的 package.scala 文件中，包对象名与包名保持一致。包对象：在 Scala 中可以为每个包定义一个同名的包对象，定义在包对象中的成员，作为其对应包下所有 class 和 object 的共享变量，可以被直接访问。
2025-04-05 18:58:39
233
原创 大数据技术
4） Scala在设计时，马丁·奥德斯基是参考了Java的设计思想，可以说Scala是源于Java，同时马丁·奥 德斯基也加入了自己的思想，将函数式编程语言的特点融合到JAVA中, 因此，对于学习过Java的同学， 只要在学习Scala的过程中，搞清楚Scala和Java相同点和不同点，就可以快速的掌握Scala这门语言。2） Scala源代码（.scala）会被编译成Java字节码（.class），然后运行于JVM之上，并可以调用现有的Java类库，实现两种语言的无缝对接。
2025-03-31 16:20:04
267
原创 图像分割项目
VOC数据集：一共2913张图，1464张训练图片，1449张验证图片· Cityscape数据集：5000张精细标注的图像(2975张训练图、500张验证图和1525张测试图)、20000张粗略标注的图像· Cityscape数据集：语义分割和实例分割· Pixel Accuracy：逐像素分类精度。· 实例分割：只预测前景目标的类别属性以及边框，个体ID，每一个像素可以属于多个ID。· 图像分割：预测目标的轮廓。· 全景分割：每个像素点分配一个语义类别和一个唯一的实例ID。· 反卷积网络：解码器。
2025-03-20 09:28:04
156
原创 目标检测项目
(Xmin, Ymin, W, H)，其中x,y,w,h均不是归一化后的数值，分别代表左上角坐标和宽、高。经典发展线：R-CNN、SPP-Net、Fast R-CNN、 Faster R-CNN。(Xmin,Ymin,Xmax,Ymax)分别代表左上角和右下角的两个坐标。候选框列表中的所有框依次与A计算IoU，删除大于阈值的候选框。选取置信度最高的框A添到输出列表，将其从候选框列表删除。aspect ratio来表示目标的形状（长宽比）设定目标框的置信度阈值，常用的阈值是0.5左右。
2025-03-11 09:56:40
329
原创 手写数字识别项目
在测试时添加model.eval()。其中model.train()是保证BN层用每一批数据的均值和方差，而model.eval()是保证BN用全部训练数据的均值和方差;而对于 Dropout,model.train()是随机取一部分网络连接来训练更新参数，而model.eval()是利用到了所有网络连接。定义损失函数可以通过自定义方法或使用PyTorch内置的损失函数，如回归使用的losss_fun=nn.MSELoss()，分类使用的mn.BCELoss等损失函数，更多内容可参考本书5.2.4节。
2025-03-06 09:33:58
340
原创 图像分类项目
可以用来表示模型的精度，即模型识别正确的个数/样本的总个数。一般情况下，模型的精度越高，说明模型的效果越好。· 深度学习最重要的属性，计算最长路径的卷积层+全连接层数量。主对角线的元素之和为正确分类的样本数，其余元素之和为错误分类的样本数。对角线的值越大，分类器准确率越高。对于k分类问题，混淆矩阵为k*k的矩阵，元素Cij表示第i类样本被分类器判定为第j类的数量。FN（False negative,假反例）——将正类预测为反类数。· 将不同的图像，划分到不同的类别标签，实现最小的分类误差。
2025-02-28 11:06:33
155
原创 数据处理工具箱
cd到logs目录所在的同级目录，在命令行输入如下命令，logdir等式右边可以是相对路径或绝对路径。1）导入tensorboard，实例化SummaryWriter类，指明记录日志路径等信息。例如，t-SNE或 PCA 降维后的词向量或特征。用于可视化单一数值，例如损失值、准确率等随训练过程的变化。用于可视化文本数据，例如模型生成的文本或训练日志。使用TensorBoard的一般步骤如下。使用TensorBoard的一般步骤如下。其中，xxx指的是各种可视化方法。用于可视化图形或复杂的图表。
2025-02-27 10:04:57
226
原创 数据处理工具箱
是否将数据保存在锁页内存（pin memory区），其中的数据转到GPU会快一些。如何将多个样本数据拼接成一个batch，一般使用默认的拼接方式即可。2.DataLoader：可以批量处理。相关参数介绍如下所示。使用多进程加载的进程数，0代表不使用多进程。用TensorBoard可视化神经网络。用TensorBoard可视化损失值。用TensorBoard可视化特征图。Pytorch数据处理工具箱。TensorBoard简介。
2025-02-26 16:25:20
160
原创 Pytorch神经网络工具箱
➢nn.Xxx继承于nn.Module，nn.Xxx 需要先实例化并传入参数，然后以函数调用的方式调用实例化的对象并传入输入数据。➢nn.functional中的函数，写法一般为nn.funtional.xxx，如nn.funtional.linear、nn.funtional.conv2d、nn.funtional.cross_entropy等。nn.Module，写法一般为nn.Xxx，如nn.Linear、nn.Conv2d、nn.CrossEntropyLoss等。②适用于激活函数、池化层。
2025-02-24 16:02:08
245
原创 卷积神经网络
通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。AlexNet由⼋层组成：五个卷积层、两个全连接隐藏层和一个全连接输出层。AlexNet由⼋层组成：五个卷积层、两个全连接隐藏层和一个全连接输出层。• AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。• 今天，AlexNet已经被更有效的架构所超越，但它是从浅层⽹络到深层网络的关键一步。
2025-02-21 09:36:02
250
原创 卷积神经网络
通过构建具有一定“深度”的模型，可以让模型来自动学习好的特征表示（从底层特征，到中层特征，再到高层特征），从而最终提升预测或识别的准确性。• AlexNet的架构与LeNet相似，但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。不管检测对象出现在图像中的哪个位置，神经网络的前面几层都应该对相同的图像区域具有相似的反应。神经网络的前面几层应该只探索输入图像中的局部区域，而不过度在意图像中相隔较远的区域的关系。步幅是每次滑动核窗口时的行/列的步长，可以成倍的减少输出形状。
2025-02-20 09:39:44
262
原创 多层感知机
激活函数：刚才登场的h（x）函数会将输入信号的总和转换为输出信号，这种函数一般称为激活函数（activation function）。（3） 激活函数的导函数的值域要在一个合适的区间内，不能太大也不能太小，否则会影响训练的效率和稳定性。如“激活”一词所示，激活函数的作用在于决定如何来激活输入信号的总和。（2） 激活函数及其导函数要尽可能的简单，有利于提高网络计算效率。感知机的局限性:感知机的局限性就是只能表示由一条直线分割的空间。输入样本－－输入层－－各隐藏层－－输出层。输出层——各隐藏层——输入层。
2025-02-19 16:35:38
107
原创 图像识别技术与应用
PyTorch是由Meta AI(Facebook)人工智能研究小组开发的一种基于Lua编写的Torch库的Python实现的深度学习库，目前被广泛应用于学术界和工业界，PyTorch在API的设计上更加简洁、优雅和易懂。严格的讲，梯度指示的反向是各点处的函数值减小最多的方向。梯度指示的反向是各点处的函数值减小最多的方向,所以无法保证梯度所指的方向就是函数的最小值或者真正应该前进的方向。但沿着它的方向能最大限度的减小函数的值。所以在寻找函数的最小值的位置任务中，以梯度的信息为线索，决定前进的方向。
2025-02-18 10:34:40
157
原创 图像识别技术与应用
当我们获得了一些数据源及其表示、一个模型和一个合适的损失函数，接下来就需要一种算法，它能够搜索出最佳参数，以最⼩化损失函数。在一个数据集上，我们可以通过最⼩化总损失来学习模型参数的最佳值。在一个数据集上，我们可以通过最⼩化总损失来学习模型参数的最佳值。人工智能学科：人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。任一调整参数后的程序被称为模型，通过操作参数而生成的所有不同程序的集合称为“模型族”。参数，参数可以被看作旋钮，旋钮的转动可以调整程序的行为。
2025-02-17 17:06:31
123
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人