- 博客(42)
- 收藏
- 关注
原创 《核心内容》
示例代码: ```python import seaborn as sns import matplotlib.pyplot as plt import pandas as pd data = {'Category': ['A', 'B', 'C'], 'Value': [3, 7, 5]} df = pd.DataFrame(data) sns.barplot(x='Category', y='Value', data=df) plt.show() ```4. 残差分析: - 检查模型的残差分布。
2025-05-09 11:04:06
468
原创 《Seaborn》
示例代码: ```python import seaborn as sns import matplotlib.pyplot as plt import pandas as pd data = {'Category': ['A', 'B', 'C'], 'Value': [3, 7, 5]} df = pd.DataFrame(data) sns.barplot(x='Category', y='Value', data=df) plt.show() ```
2025-05-09 11:02:18
864
原创 《总结.》
3. 显示彩色图像```pythonimport matplotlib.pyplot as pltimport numpy as np 生成一个随机的彩色图像img = np.random.rand(10, 10, 3) 绘制彩色图像plt.imshow(img) 显示图像plt.show()```该示例代码生成了一个10x10x3的随机数组,并使用`imshow()`函数将其显示为彩色图像。在Matplotlib中,您可以通过调整`plt.hist()`函数中的`bins`参数来改变直方图的bin数。
2025-05-09 11:00:13
373
原创 《Matplotlip在Python中的应用教学》
在Windows上激活虚拟环境:```bashmyenv\Scripts\activate```在Linux或MacOS上激活虚拟环境:```bashsource myenv/bin/activate```激活虚拟环境后,你的命令行提示符会显示虚拟环境的名称,表明你正在虚拟环境中工作。2. 创建虚拟环境选择一个目录来创建虚拟环境,然后运行以下命令:使用venv创建虚拟环境:```bashpython -m venv myenv```其中`myenv`是虚拟环境的名称,你可以根据需要修改。
2025-05-09 10:54:26
967
原创 《总结-》
在日志分析项目中,我们通过处理海量的日志数据,分析系统的运行状况、性能瓶颈以及用户的使用习惯等,为系统的优化和改进提供了数据依据。在用户行为分析项目中,我们通过对用户的行为数据进行挖掘和分析,了解用户的兴趣偏好、购买意愿等,为企业精准营销和个性化推荐提供了有力支持。通过这样的团队合作与交流,我们的团队合作能力得到了极大的提升,也为未来在职场中的合作打下了坚实的基础。掌握 Spark,就如同拥有了一把开启大数据之门的钥匙,能够在庞大的数据海洋中游刃有余,挖掘出有价值的信息。
2025-05-09 10:51:46
300
原创 《DStream 的转换操作及其在 Spark Streaming 中的应用》
2. 对数据处理效率和准确性的影响: - 效率: - 高效性:由于每个时间区间内的数据是独立处理的,因此可以并行执行,提高处理效率。- 准确性: - 准确性:每个时间区间内的数据统计是准确的,但由于不进行跨时间区间的归约,因此无法得到整个数据流的全局统计结果。总结来说,`reduceByKey()`在无状态转化操作中的应用方式提高了数据处理的效率,并且保证了每个时间区间内数据统计的准确性,但无法提供跨时间区间的全局统计信息。- 每个时间区间内的数据被独立处理,生成的键值对结果仅反映该时间区间内的数据统计。
2025-05-09 10:49:28
372
原创 《Spark Streaming 中 DStream 创建与 Kafka 数据源集成》
存在的问题是接收数据的 Executor 和计算的 Executor 速度可能不同,特别是在接收数据的 Executor 速度大于计算的 Executor 速度时,会导致计算数据的节点内存溢出。- 数据接收和处理的协调:接收数据的Executor和计算的Executor速度可能不同,特别是在接收数据的Executor速度大于计算的Executor速度时,会导致计算数据的节点内存溢出。- 数据接收和处理的协调:避免了数据接收和处理速度不匹配的问题,提高了数据处理的效率和可靠性。
2025-05-09 10:34:56
443
原创 【spark部署】
修改Spark配置文件:在spark-yarn目录下修改spark-env.sh文件,添加JAVA_HOME和YARN_CONF_DIR环境变量。在Spark的Yarn部署模式中,修改`yarn-site.xml`文件中的`yarn.nodemanager.vmem-check-enabled`和`yarn.nodemanager.pmem-check-enabled`属性为`false`是为了关闭NodeManager对虚拟内存和物理内存使用的检查。
2025-05-09 10:02:36
446
原创 《DStream创建》
3. Kafka数据源优点:- 高吞吐量:Kafka具有高吞吐量、低延迟的特点,适合大规模数据流处理。- 对于大规模数据流处理,并且对数据的实时性、可靠性和吞吐量有较高要求,可以选择Kafka数据源。通过根据具体的应用场景和需求选择适合的DStream创建方式,可以更好地满足数据处理的要求并提高系统的效率和可靠性。- 灵活:可以自由控制RDD的生成和队列的推送,适合于测试和简单的数据流处理。2. 自定义数据源优点:- 高度定制化:可以根据具体需求自定义数据源,实现对特定数据源的实时采集。
2025-05-09 09:59:35
188
原创 《spark SQL 与 hive》
重启 spark-shell 以使配置生效。4. 配置Spark的Hive支持: - 在创建`SparkSession`时,确保启用Hive支持: ```scala val spark = SparkSession.builder() .enableHiveSupport() .config("spark.sql.warehouse.dir", "hdfs://node01:9000/user/hive/warehouse") .config(sparkConf) .getOrCreate() ```
2025-05-09 09:56:59
526
原创 《spark》
写入 MySQL 数据使用 `ds.write.format("jdbc").option("url", "jdbc:mysql://localhost:3306/system").option("driver", "com.mysql.jdbc.Driver").option("user", "root").option("password", "123456").option("dbtable", "user2").mode(SaveMode.Append).save()`。
2025-05-09 09:52:14
424
原创 《spark SQL》
5. DataSet: - 定义:DataSet 是 DataFrame API 的扩展,结合了 RDD 的优势(强类型,使用 lambda 函数)和 Spark SQL 的优化执行引擎。综上所述,DataSet 在类型安全、性能优化、统一的 API、更好的优化和易用性等方面具有显著优势,这使得它有可能在后期的 Spark 版本中逐步取代 RDD 和 DataFrame 成为唯一的 API。- 优势:提供详细的结构信息,使得 Spark SQL 能够进行针对性的优化,大幅提升运行时效率。
2025-05-09 09:45:25
733
原创 《总结11》
选择:使用 `groupByKey`,因为它只进行分组,不涉及聚合操作。- 示例:`val combineRDD: RDD[(String, (Int, Int))] = input.combineByKey((_, 1), (acc: (Int, Int), v) => (acc._1 + v, acc._2 + 1), (acc1: (Int, Int), acc2: (Int, Int)) => (acc1._1 + acc2._1, acc1._2 + acc2._2))`
2025-05-09 09:41:58
305
原创 【无标题】
示例:`dataRDD1 = dataRDD.map(num => num 2)` - mapPartitions: - 函数签名:`def mapPartitions[U: ClassTag](f: Iterator[T] => Iterator[U], preservesPartitioning: Boolean = false): RDD[U]` - 功能:将待处理的数据以分区为单位进行批处理操作,可以进行任意处理,包括过滤数据。- 功能角度:map 算子主要进行数据转换,不会增减数据;
2025-05-09 09:37:17
458
原创 《spark RDD》
在 Spark Core 中,RDD 的弹性特性通过以下方式实现存储的弹性、容错的弹性和计算的弹性:1. 存储的弹性: - 内存与磁盘的自动切换:当内存不足时,Spark 可以自动将数据从内存中溢出到磁盘上存储,从而保证不会因为内存不足而导致任务失败。- 特性: - 弹性:存储、计算和分片的弹性,容错机制自动恢复数据。2. 高效率: - 内存与磁盘的自动切换:通过内存与磁盘的自动切换,Spark 可以充分利用内存的高效读写能力,同时避免内存不足的问题,提高了数据处理的效率。
2025-05-09 09:35:23
629
原创 《spark》
提交命令示例:`bin/spark-submit --class org.apache.spark.examples.SparkPi --master local[2]./examples/jars/spark-examples_2.12-3.0.0.jar 10`4. 独立模式部署(Standalone Mode): - 安装与配置:在所有节点上创建spark文件夹,解压Spark并重命名为spark-standalone。1. 基于内存的计算: - Spark将数据存储在内存中,而不是磁盘上。
2025-05-08 11:13:21
510
原创 《不可变数组》
示例如下:```swift// 创建一个不可变数组let immutableArray: [Int] = [1, 2, 3, 4, 5]// 尝试修改数组中的元素,会引发编译错误// immutableArray[0] = 10 print(immutableArray)```在上述 Swift 代码中,使用 `let` 关键字声明了一个不可变数组,当尝试修改数组中的元素时,会产生编译错误。} }}```在上述 Java 代码中,创建了一个三维数组,并展示了如何访问和遍历其中的元素。
2025-05-08 11:10:00
368
原创 《总结6》
}```- 优缺点: - 优点:线程安全,实现了延迟加载。Kotlin中的匿名子类- 语法示例:```kotlin// 定义一个接口interface Animal { fun makeSound()}fun main() { // 创建匿名子类的对象 val dog = object : Animal { override fun makeSound() { println("汪汪汪") } } dog.makeSound()}```在Kotlin里,使用`object`关键字来创建匿名子类。
2025-05-08 11:07:06
387
原创 《面向对象》
封装对象的包- 含义:有时候为了便于管理和传递数据,会将一个或多个对象封装到一个更大的“容器”中,这个“容器”就类似一个“包对象”。“包对象”在不同的语境下可能有不同的含义,下面为你详细介绍常见解释: 编程领域在编程里,特别是一些面向对象的编程语言中,“包对象”并不是一个标准术语,但结合编程逻辑和概念,可能有以下两种理解: 包中的对象- 含义:在很多编程语言里都有“包(package)”的概念,包是一种用来组织代码结构的方式,它可以包含类、接口、函数等各种编程元素。
2025-05-08 11:04:23
311
原创 《函数基本语法》
示例(Python):```pythondef apply(func, a, b): return func(a, b)def multiply(x, y): return x * yresult = apply(multiply, 3, 4)print(result) ```在这个例子中,`apply`是一个高阶函数,它接受一个函数`func`和两个参数`a`、`b`,并调用`func`对`a`和`b`进行计算。```- 解释: - `function`:定义函数的关键字。
2025-05-08 11:01:02
588
原创 《大数据技术之Scala》
例如: - 合并:`val list4 = list3:::list1` - 取指定数据:`println(list(0))`5. 遍历集合:可以使用`foreach`方法来遍历集合中的元素。例如不可变Map的操作: - 创建不可变集合Map:`val map = Map("a"->1, "b"->2, "c"->3)` - 访问数据:使用`get`方法访问map集合的数据,会返回特殊类型Option(选项):有值(Some),无值(None)。- 继承和多态:支持单继承和动态绑定。
2025-05-08 10:47:40
1143
原创 《Scala基础》
Web开发:在Play框架中,Scala和Java可以混合使用,利用Java的成熟库和Scala的简洁语法,提高开发效率。这是一篇关于Scala编程语言的基础教程文章,主要介绍了Scala语言的特点、与Java的关系、安装配置、基本语法、数据类型、变量定义、操作符、字符串插值、条件表达式、类型转换、块表达式、循环语句、方法定义、函数定义、闭包、柯里化等内容。5. 操作符与表达式: - 算术操作符:与Java类似,包括+,-,,/,%等,Scala中操作符是数据类型的方法。
2025-05-08 10:43:24
431
原创 【总结3】
示例:例如,`List[T]` 是一个泛型类,可以创建 `List[Int]`、`List[String]` 等不同类型的列表。- 优势:泛型类提高了代码的复用性和类型安全性。2. 协变和逆变: - 协变 (Covariance):如果类型 `A` 是类型 `B` 的子类型,那么 `List[A]` 自然也是 `List[B]` 的子类型。- 逆变 (Contravariance):如果类型 `A` 是类型 `B` 的子类型,那么 `Function[B]` 是 `Function[A]` 的子类型。
2025-05-08 10:38:00
441
原创 【Unet++】
U-net++在语义分割任务中的具体应用包括但不限于以下几个方面:1. 医学图像分割: - U-net++最初是为医学图像分割设计的,广泛应用于分割细胞、组织、器官等医学图像,帮助医生进行疾病诊断和治疗规划。3. 网络深度与性能: - U-net++:通过增加跳跃连接和特征拼接,U-net++在保持网络深度的同时,提高了特征融合的能力。2. 语义分割U-net++网络结构: - 特征融合:U-net++在U-net的基础上进行了改进,实现了更全面的特征融合,类似于DenseNet的思想。
2025-05-08 10:33:53
731
原创 《图像分割项目》
在自动驾驶系统中,语义分割和实例分割技术可以通过以下方式提高环境感知能力:1. 语义分割: - 道路和车道线识别:通过语义分割技术,自动驾驶系统可以精确地识别出道路和车道线的区域,从而帮助车辆保持在正确的车道内行驶。4. 图像分割的数据集: - VOC数据集:包括PASCAL VOC挑战赛的数据,2007年有9963张图片/24640个目标,2012年有23080张图片/54900个目标,从2007年开始引进了语义分割和实例分割的标注,共有2913张图,其中1464张训练图片,1449张验证图片。
2025-05-08 10:28:02
595
原创 《YOLO总结2》
在YOLO系列-V4中,Bag of freebies(BOF)方法的具体实现细节包括以下方面:1. 数据增强: - 调整亮度、对比度、色调:随机改变图像的亮度、对比度和色调,以增加模型对不同光照和色彩条件的适应性。在YOLOv4中,Bag of freebies(BOF)方法对模型训练时间的影响主要体现在以下几个方面:1. 数据增强: - 调整亮度、对比度、色调:这些操作会增加一定的计算量,但通常对整体训练时间的影响较小,因为这些操作相对简单。- 通过捷径连接,减少了信息传递的层数,提高了效率。
2025-05-08 10:23:46
573
原创 《YOLO-v3》
3. 特征提取层:残差连接在YOLO-V3的特征提取层中广泛使用,特别是在处理小目标时,残差连接有助于保留更多的细节信息,提高检测的精度。通过在Darknet-53网络架构中广泛应用残差连接,YOLO-V3能够有效地提取图像特征,并在保持高效检测速度的同时,提高检测的精度,尤其是在小目标检测上的表现。具体来说,输入特征图首先经过第一个卷积层,然后是批量归一化和Leaky ReLU激活函数,再经过第二个卷积层,最后将这个处理后的特征图与原始输入特征图相加,得到残差块的输出。
2025-05-08 10:20:15
797
原创 【yolo_v1与yolo_v2】
在YOLO-V2中,除了引入Batch Normalization和更大的分辨率外,还有其他几个重要的改进提升了模型性能:聚类提取先验框(Anchor Boxes)1. 性能提升: - 增加预测框数量:通过引入Anchor Boxes,使得每个网格可以预测多个边界框,提高了检测框的数量。- 细粒度特征融合:融合不同层次的特征图,提高小目标的检测效果。4. YOLO-V2的损失函数与感受野: - 损失函数:YOLO-V2的损失函数在YOLO-V1的基础上进行了优化,更加关注边界框的精确度和类别预测的准确性。
2025-05-08 10:16:16
713
原创 《目标检测项目总结》
典型算法:- R-CNN(Region-based Convolutional Neural Networks)- Fast R-CNN- Faster R-CNN- Cascade R-CNN2. One stage算法定义:One stage算法将目标检测任务作为一个端到端的任务,直接在输入图像上预测目标的类别和位置,无需显式生成候选区域。COCO数据集的优势和劣势:优势:1. 规模庞大:包含20万个图像和80个类别,标注目标超过50万个,适合训练复杂的目标检测模型。解决COCO数据集标注复杂的问题,
2025-05-08 10:04:30
818
原创 《图像识别技术感悟总结》
-- 四、个人感悟与展望在学习和实践图像识别技术的过程中,我深刻感受到了这项技术的魅力和挑战。随着技术的不断进步和应用场景的不断拓展,图像识别技术将在更多领域发挥重要作用,为我们的生活和工作带来更多的便利和惊喜。一、图像识别技术的概念与发展历程图像识别技术,简而言之,是指通过计算机对输入的图像进行处理、分析和理解,从而识别出图像中的物体、场景、人脸等关键信息。这一技术的基础是计算机视觉和机器学习,通过训练模型,使其能够自动提取图像中的特征,并实现对图像的分类、检测和识别。三、图像识别技术的应用与影响。
2025-05-08 09:59:17
472
原创 【集成算法】
初始化方法:在`__init__`方法中,定义了网络的结构,包括两个卷积层(`conv1`和`conv2`)、两个最大池化层(`pool1`和`pool2`)以及两个全连接层(`fc1`和`fc2`)。以下是对这些核心内容的简要概述:1. 导入模块: - 导入了PyTorch库及其子模块,包括`torch`、`torch.nn`、`torch.optim`、`torch.nn.functional`和`torch.backends.cudnn`。通过集成不同模态的特征,可以提高识别的鲁棒性。
2025-03-27 09:30:02
516
原创 【总结1】
这篇文章为评估神经网络模型在图像识别任务中的性能提供了详细的方法和分析,通过分类准确率的计算和类别性能的分析,揭示了模型的优势和不足,为后续的优化工作提供了方向。1. 计算神经网络参数数量: - 参数计算逻辑:通过使用`net.parameters()`函数获取神经网络模型的所有参数,然后利用`x.numel()`统计每个参数的元素数量,最后通过`sum()`函数计算总参数数量。- 类别准确率:模型不仅计算了整体准确率,还分别计算了每个类别的准确率,这有助于更细致地分析模型在不同类别上的表现。
2025-03-27 09:24:12
330
原创 【总结归类】
验证最佳分类阈值:在验证集上使用选定的最佳分类阈值,评估模型的性能。5. 使用集成学习方法通过组合多个模型的分类结果,可以减少单个模型的分类错误,从而提高整体性能:- Bagging:通过训练多个独立的模型,并对它们的预测结果进行平均或投票,来提高模型的稳定性。2. 改进特征提取如果混淆矩阵显示某些类别的分类错误较多,可以尝试改进特征提取方法,以增强模型对这些类别的区分能力:- 使用更强大的特征提取器:例如,采用更深的卷积神经网络(CNN)或预训练模型(如ResNet、VGG等)进行特征提取。
2025-03-04 09:36:09
336
原创 【图像分类项目】
1. 计算不同分类阈值下的TPR和FPR: - 真正例率(TPR):$\text{TPR} = \frac{\text{TP}}{\text{TP} + \text{FN}}$ - 假正例率(FPR):$\text{FPR} = \frac{\text{FP}}{\text{FP} + \text{TN}}混淆矩阵在图像分类评估中的作用包括以下几个方面1. 评估分类性能:混淆矩阵通过记录真正例(TP)、假正例(FP)、真反例(TN)和假反例(FN)的数量,帮助评估分类模型的性能。
2025-03-04 09:31:32
445
原创 【数据处理工具箱】
例如,使用`ImageFolder`读取文件夹中的图像数据时,可以直接传入`transform`参数:```pythonfrom torchvision.datasets import ImageFolderdataset = ImageFolder(root='path/to/dataset', transform=data_transform)```这样,在每次访问数据集中的图像时,都会自动应用你定义的数据增强操作。2. 调用相应API接口,如`add_scalar`、`add_image`等。
2025-03-04 09:25:25
998
原创 【potorch数据处理工具箱】
2. DataLoader的使用: - 批量处理数据:`DataLoader`可以批量加载数据,通过设置`batch_size`参数指定每个批次包含的样本数量。5. 调整其他相关参数: - 除了`num_workers`,还可以调整其他`DataLoader`参数,如`batch_size`和`pin_memory`,以优化整体性能。-_len_方法:返回数据集中样本的数量。3. 逐步增加`num_workers`: - 从较低的`num_workers`值开始,逐步增加并观察资源使用情况和数据加载性能。
2025-02-28 20:07:21
1018
原创 【pytorch 神经网络工具箱】
在训练时,需要确保所有分支的参数都能得到适当的更新。继承与实例化:nn.Xxx继承于nn.Module,需要先实例化并传入参数,以函数调用的方式调用实例化的对象并传入输入数据;因此,在训练时,需要确保训练数据集包含各种类型的输入,以便模型能够学习到在不同输入条件下的行为。nn.functional提供了更多的灵活性,可以在不实例化层的情况下直接使用函数,适用于一些需要动态调整网络结构的场景。nn.Xxx继承于nn.Module,需要先实例化并传入参数,然后以函数调用的方式调用实例化的对象并传入输入数据。
2025-02-24 20:59:07
1088
原创 【VGG系列详解】
以下是VGG块的详细说明:VGG块的结构1. 卷积层: - 每个VGG块包含多个连续的3x3卷积层。缺点计算量大:由于包含大量的卷积层和全连接层,VGG模型的计算量和参数数量都较大,训练和推理时间较长。以下是VGG架构的主要特点:主要特点重复的卷积块:VGG架构由多个卷积块组成,每个卷积块包含多个连续的3x3卷积层,随后是一个2x2的最大池化层。加深网络(如VGG系列)优点:1. 更强的特征提取能力:随着网络层数的增加,模型能够学习到更加抽象和复杂的特征,从而提高分类或检测的准确性。
2025-02-21 17:19:13
853
原创 【卷积神经网络从原理到应用】
3. 提供一定程度的平移不变性:由于池化是在局部区域内进行的操作,因此它可以在一定程度上忽略物体位置的变化,使得模型对输入数据的小范围移动不那么敏感。4. 控制过拟合:通过降采样,池化层减少了后续层需要处理的数据量,间接起到了正则化的效果,有助于防止模型过拟合训练集。6. 多通道卷积层- 彩色图像:通常有RGB三个通道,每个通道都有一个卷积核,结果是所有通道卷积结果的和。4. 降维:通过选择适当的填充和步幅,卷积层可以控制输出的尺寸,从而实现一定程度上的降维效果,减少计算量和防止过拟合。
2025-02-20 17:41:54
730
原创 【感知机应用详解】
综上所述,深度神经网络在图像识别中具有强大的特征学习能力、高精度识别能力、端到端学习能力、适应性、大规模数据处理能力和迁移学习能力,这些优势使其成为图像识别领域的主流方法。通过这些应用,感知机在图像识别中发挥了重要的作用,尤其是在构建复杂的深度学习模型时,感知机作为基本单元,为图像识别提供了强大的计算和表达能力。- 通过设置不同的权重和偏置,感知机可以捕捉到图像中的边缘、纹理等特征,帮助后续的分类或识别任务。- 深度神经网络通过大量的参数和层次结构,能够学习到图像中细微的差异,从而提高识别的精度。
2025-02-19 19:58:40
1157
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅