- 博客(25)
- 收藏
- 关注
原创 Scala
/(1)对于除号“/”,它的整数除和小数除是有区别的:整数之间做除法时,只保留整数部分而舍弃小数部分。==比较两个变量本身的值,即两个对象在内存中的首地址;(1)对于除号“/”,它的整数除和小数除是有区别的:整数之间做除法时,只保留整数部分而舍弃小数部分。// 测试:>、>=、<=、<、==、!(2)需求 2:Java 和Scala 中关于==的区别。<= 小于等于 4<=3 false。== 相等于 4==3 false。
2025-04-02 12:29:29
278
原创 Scala
4)Scala在设计时,马丁·奥德斯基是参考了Java的设计思想,可以说Scala是源于Java,同时马丁·奥 德斯基也加入了自己的思想,将函数式编程语言的特点融合到JAVA中, 因此,对于学习过Java的同学, 只要在学习Scala的过程中,搞清楚Scala和Java相同点和不同点,就可以快速的掌握Scala这门语言。2)Scala源代码(.scala)会被编译成Java字节码(.class),然后运行于JVM之上,并可以调用现有的Java类库,实现两种语言的无缝对接。
2025-03-31 16:20:33
728
原创 Scala
访问Scala官网http://www.scala-lang.org/下载Scala编译器安装包,目前最新版本是2.13.x,但是目前大多数的框架都是用2.11.x或者2.12.x编写开发的,Spark2.x使用的就是2.11.x,所以这里推荐2.11.x版本,下载scala-2.11.12.msi后点击下一步就可以了。Scala与Java的关系是非常紧密的,因为Scala是基于JVM(JAVA虚拟机)的一门编程语言。Any是abstract类,它是Scala类继承结构中最底层的。
2025-03-28 10:30:03
341
原创 Scala
你可以在"之间使用任何有效的 Scala 标志符,Scala 将它们解释为一个 Scala 标志符,一个典型的使用为 Thread 的 yield 方法, 在 Scala 中你不能使用 Thread.yield()是因为 yield 为 Scala 中的关键字, 你必须使用 Thread.`yield`()来使用这个方法。然而以"$"开头的标识符为保留的 Scala 编译器产生的标志符使用,应用程序应该避免使用"$"开始的标识符,以免造成冲突。例如:一只狗的状属性有:颜色,名字,行为有:叫、跑、吃等。
2025-03-27 13:20:12
984
原创 图像识别技术与应用
5*64 =320 , 最终组合得到全部特征。现在来看 , 很多视觉任务都可以套用这招。M 训练的时候同样会用到L4 ,效果还不错。M 以前我们都是加法 , 现在全都要。把能拼能凑的特征全用上就是升级版了。不同的max pool整合低阶特征。这么简单的结构就能把分割任务做好。起初是做医学方向 , 现在也是。损失由多个位置计算 , 再更新。(X1和X2 , 轮廓之类的)也是很常见的事 , 多输出。简单但是很实用 ,应用广。(感受野大的 , 全局的)特征融合 ,拼接更全面。
2025-03-21 12:23:57
166
原创 图像识别技术与应用
VOC数据集:一共2913张图,1464张训练图片,1449张验证图片· Cityscape数据集:5000张精细标注的图像(2975张训练图、500张验证图和1525张测试图)、20000张粗略标注的图像· Cityscape数据集:语义分割和实例分割· Pixel Accuracy:逐像素分类精度。· 实例分割:只预测前景目标的类别属性以及边框,个体ID,每一个像素可以属于多个ID。· 图像分割:预测目标的轮廓。· 全景分割:每个像素点分配一个语义类别和一个唯一的实例ID。· 反卷积网络:解码器。
2025-03-20 09:27:02
789
原创 图像识别技术与应用
比较好理解 , 坐标回归预测值都在0-1之间 , 如果在grid边界怎么表示?亲民政策 , 单GPU就能训练的非常好 , 接下来很多小模块都是这个出发点。其中M表示高置信度候选框 , Bi就是遍历各个框跟置信度高的重合情况。M V3中为了更好满足不同输入大小 , 训练的时候要改变输入数据的大小。M 注意力机制 , 网络细节设计 ,特征金字塔等 , 你能想到的全有。做人留一面日好相见 ,柔和一点的NMS , 更改分数而且直接剔除。只增加训练成本 , 但是能显著提高精度 , 并不影响推理速度。
2025-03-14 10:17:43
409
原创 图像识别技术与应用
残差连接-为了更好的特征从今天的角度来看,基本所有网络架构都用上了残差连接的方法。13*13特征图上:(116x90),(156x198),(373x326)26*26特征图上:(30x61),(62x45),(59x119)52*52特征图上:(10x13),(16x30),(33x23)特征做的更细致,融入多持续特征图信息来预测不同规格物体。先验框更丰富了,3种scale,每种3个规格,一共9种。为了能检测到不同大小的物体,设计了3个scale。YOLO-V2中选了5个,这回更多了,一共有9种。
2025-03-13 10:37:16
161
原创 图像识别技术与应用
使用高分辨率分类器后,YOLOv2的mAP提升了约4%DarkNet,实际DarkNet,实际。通过引入anchor boxes,使得预测的box数量更多(13*13*n)可能导致模型水土不服,V2训练时额外又进行了10次448*448的微调。这样会导致收敛问题,模型不稳定,尤其是刚开始进行训练的时候。V1训练时用的是224*224,测试时使用448*448。把检测问题转化成回归问题,一个CNN就搞定了!问题2:小物体检测效果一般,长宽比可选的但单一。网络的每一层的输入都做了归一化,收敛相对更容易。
2025-03-12 15:58:25
250
原创 图像识别技术与应用
(Xmin, Ymin, W, H),其中x,y,w,h均不是归一化后的数值,分别代表左上角坐标和宽、高。经典发展线:R-CNN、SPP-Net、Fast R-CNN、 Faster R-CNN。(Xmin,Ymin,Xmax,Ymax)分别代表左上角和右下角的两个坐标。候选框列表中的所有框依次与A计算IoU,删除大于阈值的候选框。选取置信度最高的框A添到输出列表,将其从候选框列表删除。aspect ratio来表示目标的形状(长宽比)设定目标框的置信度阈值,常用的阈值是0.5左右。
2025-03-11 10:01:47
222
原创 图像识别技术与应用
➢nn.functional中的函数,写法一般为nn.funtional.xxx,如nn.funtional.linear、nn.funtional.conv2d、nn.funtional.cross_entropy等。流程:在梯度法中,函数的取值从当前位置沿着梯度方向前进一定的距离,然后在新的方向重新求梯度,再沿着新梯度的方向前进,如此反复,不断的沿梯度方向前进。4. 将所有弱分类组合成强分类器,各个弱分类器的训练过程结束后,加大分类误差率小的弱分类器的权重,降低分类误差率大的弱分类器的权重。
2025-03-10 17:07:20
2132
原创 图像识别技术与应用
说明,model.train()与model.eval()的使用如果模型中有BN(Batch Normalization)层和Dropout,需要在训练时添加model.train(),在测试时添加mode1,exa10)。optimizer.zero grad()在默认情况下梯度是累加的,需要手工把梯度初始化或清零,调用optimizer.zero_grad()即可。4. 将所有弱分类组合成强分类器,各个弱分类器的训练过程结束后,加大分类误差率小的弱分类器的权重,降低分类误差率大的弱分类器的权重。
2025-03-06 09:56:22
277
原创 图像识别技术与应用
4. 将所有弱分类组合成强分类器,各个弱分类器的训练过程结束后,加大分类误差率小的弱分类器的权重,降低分类误差率大的弱分类器的权重。=True时,等同于使用交叉验证评估模型。对于一个复杂任务来说,将多个专家的判断进行适当的综合所得出的判断,要比其中任何一个专家单独的判断好。2. 训练弱分类器,如果样本分类正确,则在构造下一个训练集中,它的权值就会被降低;·构造树模型:由于二重随机性,使得每个树基本上都不会一样,最终的结果也会不一样。最终的结果:每个分类器根据自身的准确性来确定各自的权重,再合体。
2025-03-05 16:14:54
307
原创 图像识别技术与应用
可以用来表示模型的精度,即模型识别正确的个数/样本的总个数。主对角线的元素之和为正确分类的样本数,其余元素之和为错误分类的样本数。准确率(Precision):又称为查准率,表示在模型识别为正类的样本中,真正为正类的样本所占的比例。召回率(Recall):又称为查全率,表示模型正确识别出为正类的样本的数量占总的正类样本数量的比值。对于k分类问题,混淆矩阵为k*k的矩阵,元素Cij表示第i类样本被分类器判定为第j类的数量。· 将不同的图像,划分到不同的类别标签,实现最小的分类误差。
2025-02-28 10:17:44
279
原创 图像识别技术与应用
5)ToTensor把一个取值范围是[0,255]的PIL.Image转换成Tensor。3)CenterCrop、RandomCrop、RandomSizedCrop裁剪图像。9)transforms提供了对PIL Image对象和Tensor对象的常用操作。Scalar用于可视化单一数值,例如损失值、准确率等随训练过程的变化。Text用于可视化文本数据,例如模型生成的文本或训练日志。2)Scale/Resize调整尺寸,长宽比保持不变。#即add_xxx(标签,记录的对象,迭代次数)
2025-02-27 10:20:25
377
原创 图像识别技术与应用
drop_lastdataset 中的数据个数可能不是 batch_size的整数倍,drop_last为True会将多出来不足一个batch的数据丢弃。pin_memory是否将数据保存在锁页内存(pin memory区),其中的数据转到GPU会快一些。pin_memory是否将数据保存在锁页内存(pin memory区),其中的数据转到GPU会快一些。Embedding用于可视化高维数据的低维表示。collate_fn如何将多个样本数据拼接成一个batch,一般使用默认的拼接方式即可。
2025-02-26 16:50:18
868
原创 图像识别技术与应用
该方法构建时不能给每个层指定名称,如果需要给每个层指定名称,可使用add_module方法或OrderedDict方法。·残差块有两种,一种是正常的模块方式,将输入与输出相加,然后应用激活函数ReLU。2.继承nn.Module基类并应用模型容器构建模型。1.使用nn.Sequential按层顺序构建模型。Pytorch神经网络工具箱。
2025-02-25 10:02:40
420
原创 图像识别技术与应用
➢nn.Xxx继承于nn.Module,nn.Xxx 需要先实例化并传入参数,然后以函数调用的方式调用实例化的对象并传入输入数据。➢nn.functional中的函数,写法一般为nn.funtional.xxx,如nn.funtional.linear、nn.funtional.conv2d、nn.funtional.cross_entropy等。nn.Module,写法一般为nn.Xxx,如nn.Linear、nn.Conv2d、nn.CrossEntropyLoss等。运行结果:Model Seq(
2025-02-24 16:09:46
1699
原创 图像识别技术与应用
通过构建具有一定“深度”的模型,可以让模型来自动学习好的特征表示(从底层特征,到中层特征,再到高层特征),从而最终提升预测或识别的准确性。表示学习:如果有一种算法可以自动地学习出有效的特征,并提高最终机器学习模型的性能,那么这种学习就可以叫作表示学习。AlexNet的架构与LeNet相似,但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。不同次数的重复VGG块,可获得不同的架构,例如VGG-16,VGG-19,......此外,还有5个最大池化层分布在不同的卷积层之下。
2025-02-21 09:19:08
422
原创 图像识别技术与应用
通过构建具有一定“深度”的模型,可以让模型来自动学习好的特征表示(从底层特征,到中层特征,再到高层特征),从而最终提升预测或识别的准确性。AlexNet的架构与LeNet相似,但使⽤了更多的卷积层和更多的参数来拟合大规模的ImageNet数据集。不管检测对象出现在图像中的哪个位置,神经网络的前面几层都应该对相同的图像区域具有相似的反应。神经网络的前面几层应该只探索输入图像中的局部区域,而不过度在意图像中相隔较远的区域的关系。步幅是每次滑动核窗口时的行/列的步长,可以成倍的减少输出形状。
2025-02-20 09:47:40
239
原创 图像识别技术与应用
激活函数:刚才登场的h(x)函数会将输入信号的总和转换为输出信号,这种函数一般称为激活函数(activation function)。(3) 激活函数的导函数的值域要在一个合适的区间内,不能太大也不能太小,否则会影响训练的效率和稳定性。好"了的时候,很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质——过拟合;如“激活”一词所示,激活函数的作用在于决定如何来激活输入信号的总和。(2) 激活函数及其导函数要尽可能的简单,有利于提高网络计算效率。w称为权重:控制输入信号的重要性的参数。
2025-02-19 16:47:55
413
原创 图像识别技术与应用第一节课剩下部分和第二节课
PyTorch是由Meta AI(Facebook)人工智能研究小组开发的一种基于Lua编写的Torch库的Python实现的深度学习库,目前被广泛应用于学术界和工业界,PyTorch在API的设计上更加简洁、优雅和易懂。流程:在梯度法中,函数的取值从当前位置沿着梯度方向前进一定的距离,然后在新的方向重新求梯度,再沿着新梯度的方向前进,如此反复,不断的沿梯度方向前进。梯度指示的反向是各点处的函数值减小最多的方向,所以无法保证梯度所指的方向就是函数的最小值或者真正应该前进的方向。
2025-02-18 10:34:46
318
原创 图片识别技术与应用的第一节理解
看到了生活方式的转变比如智能语音闹钟控制系统、自动驾驶和人脸识别考勤 智能购物、医疗。这节课了解了这门专业的就业职位:工资是怎么样的岗位职责和任职要求。还能用软件看到天气的好坏了解了典型训练和机器学习中的关键组件。了解了人工智能的研究、开发、模拟、延伸、理论、方法和技术。机器学习中的关键组件包含:数据 模型 目标函数 优化算法。日常生活的智能比如 指纹、淘宝、抖音。看到了人类工业文明的演变。
2025-02-17 17:00:41
90
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人