自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3)
  • 收藏
  • 关注

原创 Flink调优之更改任务槽位和并行度

发现任务槽位和并行度都被设置成默认值1,memory.process.size设置为了1600MB。可对配置文件进行相应的修改以更改任务槽位和并行度。二、修改docker-compose文件。在taskmanager配置后面新增。再次启动集群,发现任务槽位成功增加。找到配置文件config.yaml。下载vim工具修改配置文件。

2024-12-30 10:19:54 843 2

原创 虚拟机磁盘空间不足:cd -bash: 无法为立即文档创建临时文件: 设备上没有空间

终端操作Linux时,出现如下报错信息“cd -bash: 无法为立即文档创建临时文件: 设备上没有空间”。表明系统在尝试创建临时文件时没有足够的磁盘空间。这通常发生在操作系统尝试在磁盘上创建临时文件,但磁盘空间不足。可以看到usr和var占用较多。可以在两个目录下逐一查看,删除不需要的文件释放磁盘空间。在硬盘选择扩展,为虚拟机分配更多虚拟内存。注意,扩展虚拟机内存要删除现有的快照。使用df -h”显示目前磁盘空间和使用情况。命令删除所有未使用的资源。来分别清理这些资源。

2024-12-29 10:22:52 1643 2

原创 kafka分区与Flink并行度设置

如果Flink的并行度小于Kafka分区数,可能会出现一个Flink并行实例处理多个Kafka分区的情况,这可能导致数据消费不均衡。综上所述,为了确保数据的高效和正确处理,建议将Flink的并行度设置为与Kafka分区数相同,这样可以保证每个Flink子任务都能处理一个Kafka分区,实现最佳的负载均衡和数据处理效率。:如果Kafka分区数大于Flink的并行度,并且存在任务重新调度等因素,可能会出现某些Kafka分区被多个Flink子任务消费的情况,导致重复消费的风险。

2024-12-28 19:34:21 1531 5

机器学习领域中多算法对比及应用-基于机器学习的掌纹识别研究

内容概要:本文档详细探讨了使用多种图像处理技术和机器学习算法对掌纹识别的任务进行分析与实现。具体来说,研究了掌纹图像的预处理(如裁剪提取中心图像)、利用 Gabor 滤波器、离散余弦变换(DCT)、主成分分析(PCA)、局部二值模式(LBP)、直方图方向梯度(HOG)进行特征提取,并通过支持向量机(SVM)和 K 近邻(KNN)等分类器进行模型搭建。实验中,还进行了参数调优,探索了各种特征提取方法在掌纹分类任务上的有效性。实验结果显示,HOG 特征与 SVM 结合的效果最为显著,其次是 DCT 与 PCA 组合。同时指出训练集和测试集比例选择对模型表现也有很大影响。此外,研究中多次调整模型参数和特征提取方法来优化分类性能。 适用人群:对机器学习及图像处理感兴趣的研究人员和学生,特别是从事生物特征识别、掌纹识别及相关应用的研发人员。 使用场景及目标:①用于掌纹识别的研究开发和技术改进;②帮助理解掌纹识别背后的各种算法原理;③为后续的掌纹识别系统开发和实际部署提供了有价值的指导和技术积累。 其他说明:该研究报告是南昌航空大学学生完成的一份学术成果,在2024-2025年度的机器学习与模式识别课程作业基础上编制而成。文中包含详尽的技术细节和实证分析,为读者展示了一个完整的科学研究流程。

2025-01-13

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除