- 博客(34)
- 收藏
- 关注
RSS订阅原创 spark
2 2016/11/14 A18177226992 CHANDO/自然堂活泉保湿修护精华水（滋润型135ml 补水控油爽肤水 99.0 12668.0 589.0 自然堂 [CHANDO, /, 自然, 堂, 活泉, 保湿, 修护, 精华, 水, （, 滋润, 型... 精华类 护肤品 否 1254132.0。data.loc[data['sub_type'] == '其他'].count() ##查看分类为其他的有多少商品。df = pd.read_csv('双十一淘宝美妆数据.csv')
2025-05-06 09:39:12
356
原创 kafka
给定一个由(键，事件)对构成的 DStream，并传递一个指定如何根据新的事件更新每个键对应状态的函数，它可以构建出一个新的 DStream，其内部数据为(键，状态) 对。➢ saveAsObjectFiles(prefix, [suffix])：以 Java 对象序列化的方式将 Stream 中的数据保存为SequenceFiles . 每一批次的存储文件名基于参数中的为"prefix-TIME_IN_MS[.suffix]".每一批次的存储文件名基于参数中的 prefix 和 suffix。
2025-04-27 15:51:20
441
原创 KAFKA
该函数每一批次调度一次。DStream 上的操作与 RDD 的类似，分为 Transformations（转换）和 Output Operations（输出）两种，此外转换操作中还有一些比较特殊的原语，如：updateStateByKey()、transform()以及各种 Window 相关的原语。（1） 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。
2025-04-25 10:27:51
291
原创 SPARK
mv spark-env.sh.template spark-env.sh vi spark-env.sh 启动HDFS以及Yarn集群 提交测试应用 bin/spark-submit \ --class org.apache.spark.examples.SparkPi \ --master yarn \ --deploy-mode cluster \ ./examples/jars/spark-examples_2.12-3.0.0.jar \ 10。Kafka就是一个分布式的用于消息存储的消息队列。
2025-04-23 16:11:14
589
原创 Spark
因为 Spark Thrift Server 的接口和协议都和 HiveServer2 完全一致，因此我们部署好 Spark Thrift Server 后，可以直接使用 hive 的 beeline 访问 Spark Thrift Server 执行相关语句。Spark Thrift Server 的目的也只是取代 HiveServer2，因此它依旧可以和 Hive Metastore进行交互，获取到 hive 的元数据。2. 将hive-site.xml 文件拷贝到项目的 resources 目录中。
2025-04-21 17:31:51
591
原创 SPARK
包含 Hive 支持的 Spark SQL 可以支持 Hive 表访问、UDF (用户自定义函数)、Hive 查询语言（HQL）等。这里的通用指的是使用相同的API，根据不同的参数读取和保存不同格式的数据，SparkSQL 默认读取和保存的文件格式为parquet。")：指定保存的数据类型，包括"csv"、"jdbc"、"json"、"orc"、"parquet"和。➢ save ("…")：在"csv"、"orc"、"parquet"和"textFile"格式下需要传入保存数据的路径。
2025-04-16 15:09:02
371
原创 spark
SparkSession 是 Spark 最新的 SQL 查询起始点，实质上是 SQLContext 和 HiveContext 的组合，所以在 SQLContext 和 HiveContext 上可用的 API 在 SparkSession 上同样是可以使用的。Spark Core 中，如果想要执行应用程序，需要首先构建上下文环境对象 SparkContext， Spark SQL 其实可以理解为对 Spark Core 的一种封装，不仅仅在模型上进行了封装，上下文环境对象也进行了封装。
2025-04-14 15:59:21
559
原创 Spark-Core
从 shuffle 的角度：reduceByKey 和 groupByKey 都存在 shuffle 的操作，但是 reduceByKey可以在 shuffle 前对分区内相同 key 的数据进行预聚合（combine）功能，这样会减少落盘的数据量，而 groupByKey 只是进行分组，不存在数据量减少的问题，reduceByKey 性能比较高。使用 map 操作。Map 算子是分区内一个数据一个数据的执行，类似于串行操作。将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。
2025-04-10 10:10:43
626
原创 Spark
Spark 集群的独立部署环境中，不需要依赖其他的资源调度框架，自身就实现了资源调度的功能，所以环境中还有其他两个核心组件：Master 和 Worker，这里的 Master 是一个进程，主要负责资源的调度和分配，并进行集群的监控等职责，类似于 Yarn 环境中的 RM, 而Worker 呢，也是进程，一个 Worker 运行在集群中的一台服务器上，由 Master 分配资源对数据进行并行的处理和计算，类似于 Yarn 环境中 NM。在提交应用中，可以提供参数指定计算节点的个数，以及对应的资源。
2025-04-09 15:20:24
445
原创 Spark Core
所以 Spark 应运而生，Spark 就是在传统的 MapReduce 计算框架的基础上，利用其计算过程的优化，从而大大加快了数据分析、挖掘的运行和读写速度，并将计算单元缩小到更适合并行计算和重复使用的 RDD 计算模型。local 本地模式毕竟只是用来进行练习演示的，真实工作中还是要将应用提交到对应的集群中去执行，这里我们来看看只使用 Spark 自身节点运行的集群模式，也就是我们所谓的独立部署（Standalone）模式。Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。
2025-04-08 10:19:02
411
原创 Scala
但由于很多 Java 框架都利用反射调用 getXXX 和 setXXX 方法，有时候为了和这些框架兼容，也会为 Scala 的属性设置 getXXX 和 setXXX 方法（通过。另一种风格，通过嵌套的风格表示层级关系，如下。封装在一起，数据被保护在内部，程序的其它部分只有通过被授权的操作（成员方法），才能对数据进行操作。封装在一起，数据被保护在内部，程序的其它部分只有通过被授权的操作（成员方法），才能对数据进行操作。（1）如果主构造器无参数，小括号可省略，构建对象时调用的构造方法的小括号也可以省略。
2025-04-02 16:47:17
1667
原创 Scala
/（2）如果函数体只有一行代码，可以省略花括号def f2(s:String):String = s + " jinlian"//（9）如果不关心名称，只关心逻辑处理，那么函数名（def）可以省略def f9 = (x:String)//（3）返回值类型如果能够推断出来，那么可以省略（:和返回值类型一起。//（7）如果函数无参，但是声明了参数列表，那么调用时，小括号，可加可。//（8）如果函数没有参数列表，那么小括号可以省略,调用时小括号必须省。// 如果参数有默认值，在调用的时候，可以省略这个参数。
2025-04-01 10:37:38
1583
原创 Scala
是编译器及编程的狂热爱好者，长时间的编程之后，希望发明一种语言，能够让写程序这样的基础工作变得高效，简单。StdIn.readLine()、StdIn.readShort()、StdIn.readDouble() 2）案例实操。一般来说，学 Scala 的人，都会 Java，而 Scala 是基于 Java 的，因此我们需要将 Scala。Scala 的整数类型就是用于存放整数值的，比如 12，30，3456 等等。语言产生了极大的兴趣，所以决定将函数式编程语言的特点融合到JAVA中，
2025-03-31 16:08:46
549
原创 Scala基础
JVM语言大部分可能会想到Java，但Java做出来的API太丑，或者想实现一个优雅的API太费劲。scala中没有提供++、--操作符，我们只能使用+和-，比如num = 1，num ++是错误的，必须写做num += 1。scala的算术操作符与java的算术操作符也没有什么区别，比如+、-、*、/、%等，以及&、|、^、>>、<<等。优雅：这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验。，比如1 + 1，可以写做1.+(1)Scala语言的特点。
2025-03-28 10:02:27
434
原创 Scala基础知识
JVM语言大部分可能会想到Java，但Java做出来的API太丑，或者想实现一个优雅的API太费劲。然而以"$"开头的标识符为保留的 Scala 编译器产生的标志符使用，应用程序应该避免使用"$"开始的标识符，以免造成冲突。的设计秉承一项事实，即在实践中，某个领域特定的应用程序开发往往需要特定于该领域的语言扩展。我们可以认为 Scala 程序是对象的集合，通过调用彼此的方法来实现消息传递。优雅：这是框架设计师第一个要考虑的问题，框架的用户是应用开发程序员，API是否优雅直接影响用户体验。
2025-03-27 09:28:59
342
原创 图像识别技术与应用（图像分割项目）
5000张精细标注的图像(2975张训练图、500张验证图和1525张测试图)、20000张粗略标注的图像。：共91类，以人类4岁小孩能够辨识为基准，其中82类有超过5000个instance。将不同的像素划分到不同的类别，非常细粒度的分类。人像抠图，医学组织提取，遥感图像分析，自动驾驶，材料图像等。：每个像素点分配一个语义类别和一个唯一的实例ID。：以场景理解为目标，特别选取比较复杂的日常场景。：每一个像素必须只能属于一类，预测结果为掩膜。：每一个像素必须只能属于一类，预测结果为掩膜。
2025-03-20 09:36:06
318
原创 图像识别技术与应用（YOLO-4)
并且还是一个捷径 ， 红色的没准走个100层(Resnet) ， 绿色的几层就到了。比较好理解 ， 坐标回归预测值都在0-1之间 ， 如果在grid边界怎么表示？亲民政策 ， 单GPU就能训练的非常好 ， 接下来很多小模块都是这个出发点。数据增强： 调整亮度、 对比度、 色调、 随机缩放、 剪切、 翻转、 旋转。注意力机制 ， 网络细节设计 ，特征金字塔等 ， 你能想到的全有。消融实验 ， 感觉能做的都让他给做了 ，这工作量不轻。网络细节部分加入了很多改进 ， 引入了各种能让特征提取更好的方法。
2025-03-14 10:20:14
280
原创 图像识别技术与应用（YOLO3）
终于到V3了，最大的改进就是网络结构，使其更适合小目标检测。V3中也用了resnet的思想，堆叠更多的层来进行特征提取。终于到V3了，最大的改进就是网络结构，使其更适合小目标检测。特征做的更细致，融入多持续特征图信息来预测不同规格物体。先验框更丰富了，3种scale，每种3个规格，一共9种。特征做的更细致，融入多持续特征图信息来预测不同规格物体。先验框更丰富了，3种scale，每种3个规格，一共9种。YOLO-V2中选了5个，这回更多了，一共有9种。YOLO-V2中选了5个，这回更多了，一共有9种。
2025-03-13 10:20:01
270
原创 图像识别技术与应用（YOLO系列）
很明显，堆叠小的卷积核所需的参数更少一些，并且卷积过程越多，特征提取也会越细致，加入的非线性变换也随着增多，还不会增大权重参数个数，这就是VGG网络的基本出发点，用小的卷积核来完成体特征提取操作。例如预测值(σtx,σty,tw,th)=(0.2,0.1,0.2,0.32)，anchor框为。faster-rcnn系列选择的先验比例都是常规的，但是不一定完全适合数据集。最后一层时感受野太大了，小目标可能丢失了，需融合之前的特征。这样会导致收敛问题，模型不稳定，尤其是刚开始进行训练的时候。
2025-03-12 16:28:23
811
原创 图像识别技术与应用（目标检测项目）
(Xmin, Ymin, W, H)，其中x,y,w,h均不是归一化后的数值，分别代表左上角坐标和宽、高。(Xmin,Ymin,Xmax,Ymax)分别代表左上角和右下角的两个坐标。地面实况 用以帮助遥感影像分类和判读的地表或地下的各种地物特征信息。类似于传统方法，滑动窗口法穷举出许多，然后再根据置信度之类的进行筛选。重复上述过程，直到候选框列表为空，返回输出列表。设定目标框的置信度阈值，常用的阈值是。来表示目标的大小（面积大小）,y,w,h均为归一化结果。候选框列表中的所有框依次与。
2025-03-11 10:52:55
676
原创 图像识别技术与应用
其中，特征提取是图像识别中最关键的一步，传统的特征提取方法依赖于人工设计的特征，而深度学习方法则通过多层网络自动学习深层次的特征表示。卷积神经网络（CNNs）已成为图像识别领域的核心技术，它通过模拟人脑的结构，能够自动并有效地从图像数据中学习到复杂的特征表示。为了提高小样本数据的识别效果，迁移学习和半监督学习技术被引入到图像识别中，这些技术可以帮助模型更好地利用未标记的数据，从而提高识别的准确率。综上所述，图像识别技术是一个快速发展的领域，它在未来的科技和社会发展中将发挥越来越重要的作用。
2025-03-10 17:00:42
274
原创 图像识别技术与应用
if epoch%5-0:optimizer.param groups[0][’lr’]*=0.9print(学网率::.6f}".format(optimizer.param groups[0]['lr ]))for img,label in train loader:img=img.to(device)label = label.to(device)其正向传播out = model(img)loss =criterion(out, label)前定义预处理函数Ir。前动态修改参数学习率。
2025-03-06 10:24:30
399
原创 图像识别技术与应用（集成算法）
未来，我将继续深化对图像识别技术的研究和学习，探索更多新的算法和应用场景，为解决实际问题和推动技术进步贡献自己的力量。通过系统学习，我对图像识别技术有了更深入的理解和掌握，同时也对其在不同领域的应用有了更清晰的认识。1. 基本原理：图像识别是通过分析图像中的像素、纹理、颜色等特征，将其与已知的图像库或模型进行比对，从而实现对图像的识别和理解。在图像识别中，集成算法可以显著提高识别的准确性和鲁棒性。1. 安防监控：通过图像识别技术，可以实现对人脸、车辆等目标的自动检测和识别，提高安防监控的效率和准确性。
2025-03-05 16:46:03
632
原创 图像识别与应用技术（图像分类项目）
预定义模型：PyTorch提供了许多预训练好的模型，如ResNet、VGG、AlexNet等，可以直接使用这些模型或者在它们的基础上进行微调。例如，使用`torchvision.models.resnet18(pretrained = True)`可以加载预训练的ResNet - 18模型。- 优化器：如随机梯度下降（`torch.optim.SGD`）、Adam优化器（`torch.optim.Adam`）等。- 自定义模型：如果需要构建自己的模型，可以定义一个继承自`nn.Module`的类。
2025-03-03 17:16:53
176
原创 图像识别技术与应用（图像分类项目）
图像分类的主要目标是将输入的图像划分到预定义的类别当中。例如，在一个识别动物的图像分类项目中，一张老虎的图片应被准确归类到“猫科动物”这个类别里。1. 模型选择：可选择的模型有很多，如传统的支持向量机（SVM）到深度学习中的卷积神经网络（CNN）。1. 首先需要从各种来源收集图像数据。2. 也可能是自行采集的数据，例如企业为了训练一个用于识别自身产品缺陷的图像分类器，会收集大量良品和不良品的图片。3. 数据增强：为了增加数据的多样性，减少模型的过拟合风险，可以对图像进行一些操作，如旋转、翻转、裁剪等。
2025-02-28 09:55:58
295
原创 人工智能图像识别技术与应用（PYTORCH神经网络工具箱）
与一些其他框架（如TensorFlow的早期版本）不同，PyTorch使用动态计算图。这意味着计算图是在运行时构建的，允许更灵活的编程。例如，在构建循环神经网络（RNN）时，可以根据不同的输入序列长度动态调整计算过程。- PyTorch基于C++后端，可以充分利用GPU的计算能力。它支持多种硬件加速，能够快速地进行大规模数据的计算。例如，在处理图像分类任务中的大量图像数据时，可以显著提高训练速度。- 它的API设计简洁直观，对于初学者来说很容易上手。
2025-02-27 10:00:12
138
原创 图像识别技术与应用（Pytorch)
卷积核是卷积层中的核心元素，它是一个小的矩阵（例如3×3、5×5等）。例如，对于一幅RGB图像（有3个通道），一个3×3的卷积核会在每个通道上分别进行卷积操作，然后将结果相加得到一个新的特征图。它可以将自定义的数据集（例如通过`torchvision.datasets`创建的数据集或者自己构建的数据集）按照指定的批量大小（batch_size）、是否打乱数据（shuffle）等参数进行加载。它的作用是减少数据量，同时保留重要的特征信息，提高计算效率，并且具有一定的平移不变性。- 卷积核（Filter）
2025-02-26 16:40:53
314
原创 人工智能图像识别技术与应用（PYTORCH神经网络工具箱）
与一些其他框架（如TensorFlow的早期版本）不同，PyTorch使用动态计算图。这意味着计算图是在运行时构建的，允许更灵活的编程。例如，在构建循环神经网络（RNN）时，可以根据不同的输入序列长度动态调整计算过程。例如，在处理图像分类任务中的大量图像数据时，可以显著提高训练速度。- 在图像分类、目标检测、语义分割等任务中广泛应用。例如，许多先进的图像识别算法都是基于PyTorch开发的。- 构建语音识别系统，处理音频数据，进行声学模型和语言模型的训练等。
2025-02-25 14:59:34
466
原创 人工智能图像识别技术与应用（PYTORCH神经网络工具箱）
与一些其他框架（如TensorFlow的早期版本）不同，PyTorch使用动态计算图。- 包含了许多预定义的神经网络层（如卷积层、池化层等）、损失函数（如均方误差损失、交叉熵损失等）和优化算法（如随机梯度下降、Adam等）。- PyTorch是一个开源的深度学习框架，它在神经网络开发领域具有重要的地位。- 由Facebook的人工智能研究团队（FAIR）开发，旨在为深度学习研究提供一个灵活且高效的平台。- 构建语音识别系统，处理音频数据，进行声学模型和语言模型的训练等。2. **开发背景**
2025-02-24 16:17:13
415
原创 人工智能图像识别技术与应用（卷积神经网络）
本文详细介绍了卷积神经网络的基本结构、卷积层和池化层的作用，以及经典的卷积神经网络模型（LeNet、AlexNet、VGG、ResNet）。池化操作通过在特征图上滑动窗口，并取窗口内元素的最大值或平均值，生成池化后的特征图。卷积操作是通过卷积核（也称为滤波器）进行的，卷积核在图像上滑动，并计算卷积核与图像局部区域的点积，生成特征图（Feature Map）。全连接层的每个神经元与上一层的所有神经元相连接，通过权重和偏置进行线性变换，然后通过激活函数进行非线性变换，生成最终的输出12。
2025-02-21 09:41:01
428
原创 人工智能图像识别技术与应用（卷积神经网络）
随着计算能力的提升和大量图像数据的出现，CNN在2012年的ImageNet图像识别竞赛中大放异彩，AlexNet模型取得了远超传统方法的成绩，从此CNN开始在计算机视觉等众多领域广泛应用。例如，对于一幅RGB图像（有3个通道），一个3×3的卷积核会在每个通道上分别进行卷积操作，然后将结果相加得到一个新的特征图。- 在卷积层中，通过卷积核在图像上滑动进行卷积操作，自动提取图像中的局部特征，如边缘、纹理等。例如，浅层卷积层可能提取到图像的简单边缘信息，而深层卷积层可能提取到图像中物体的整体形状等复杂特征。
2025-02-20 09:49:15
1883
原创 图像识别技术与应用
图像识别技术是现代人工智能领域的重要分支，它利用计算机视觉技术，通过对图像进行处理、分析和理解，实现对图像中的物体、场景、文字等信息的识别。此外，随着人工智能技术的不断融合和创新，图像识别技术将与语音识别、自然语言处理等技术相结合，形成更加智能、更加便捷的人工智能系统，为人们的生活和工作带来更多便利和惊喜。2. 特征提取：从预处理后的图像中提取出有用的特征信息，如边缘、纹理、形状、颜色等。1. 安防监控：利用图像识别技术实现对监控视频中的人物、车辆等目标的检测、跟踪和识别，提高安防监控的智能化水平。
2025-02-19 16:33:20
698
原创 图像识别技术与应用
例如，在人脸识别中，眼睛、鼻子、嘴巴等部位的特征是识别的关键。- 作物生长监测：通过对农田的航拍图像或地面拍摄图像进行识别，可以监测作物的生长状况，如作物的密度、健康状况（是否有病虫害）等，为农业生产提供决策依据。- 远程医疗：通过图像识别技术，远程医疗设备可以对患者的伤口、皮肤病变等进行初步诊断，并将结果传输给医生，方便患者在偏远地区也能得到及时的医疗服务。- 产品质量检测：在生产线上，图像识别系统可以对产品的外观进行检测，如检测电子元件的引脚是否弯曲、产品表面是否有划痕等，保证产品质量。
2025-02-18 10:48:02
445
原创 人工智能与图像识别
在图像识别中，需要提取图像的特征，如颜色、纹理、形状等特征，然后将这些特征输入到SVM中进行分类。- 人工智能是一门研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的新兴技术科学。- 复杂环境下的识别：在复杂的光照、遮挡、变形等情况下，图像识别的准确性会受到影响。- 可解释性：提高图像识别模型的可解释性，使人们能够理解模型是如何做出识别决策的，这在医疗、安防等关键领域尤为重要。- 多模态融合：结合图像的多种模态信息，如视觉、听觉、触觉等信息进行综合识别，提高识别的准确性和鲁棒性。
2025-02-17 17:00:04
679
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人