- 博客(3)
- 收藏
- 关注
原创 Flink调优之更改任务槽位和并行度
发现任务槽位和并行度都被设置成默认值1,memory.process.size设置为了1600MB。可对配置文件进行相应的修改以更改任务槽位和并行度。二、修改docker-compose文件。在taskmanager配置后面新增。再次启动集群,发现任务槽位成功增加。找到配置文件config.yaml。下载vim工具修改配置文件。
2024-12-30 10:19:54
843
2
原创 虚拟机磁盘空间不足:cd -bash: 无法为立即文档创建临时文件: 设备上没有空间
终端操作Linux时,出现如下报错信息“cd -bash: 无法为立即文档创建临时文件: 设备上没有空间”。表明系统在尝试创建临时文件时没有足够的磁盘空间。这通常发生在操作系统尝试在磁盘上创建临时文件,但磁盘空间不足。可以看到usr和var占用较多。可以在两个目录下逐一查看,删除不需要的文件释放磁盘空间。在硬盘选择扩展,为虚拟机分配更多虚拟内存。注意,扩展虚拟机内存要删除现有的快照。使用df -h”显示目前磁盘空间和使用情况。命令删除所有未使用的资源。来分别清理这些资源。
2024-12-29 10:22:52
1643
2
原创 kafka分区与Flink并行度设置
如果Flink的并行度小于Kafka分区数,可能会出现一个Flink并行实例处理多个Kafka分区的情况,这可能导致数据消费不均衡。综上所述,为了确保数据的高效和正确处理,建议将Flink的并行度设置为与Kafka分区数相同,这样可以保证每个Flink子任务都能处理一个Kafka分区,实现最佳的负载均衡和数据处理效率。:如果Kafka分区数大于Flink的并行度,并且存在任务重新调度等因素,可能会出现某些Kafka分区被多个Flink子任务消费的情况,导致重复消费的风险。
2024-12-28 19:34:21
1531
5
机器学习领域中多算法对比及应用-基于机器学习的掌纹识别研究
2025-01-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅