- 博客(6)
- 收藏
- 关注
RSS订阅
原创 flink处理实时数据流常见问题
在每个分钟窗口进行同平台交易量累加后排序取前十。在process算子后输出的结果确实按降序排列，但是存入数据库顺序就打乱了。解决方案：最终在transform算子进行取Top10操作，然后使用sql语句进行排序在大屏展示。但是经过水印测试，打印出来的时间窗口是正确的。解决方案：kafka设置分区器进行发送，flink设置同样大小的线程进行接收。尽量创建两个独立的DataStream转换链，否则会出现信息错位，图 1.4 单个datastream累积计算下的分钟统计结果。虽然统计的字段和方法相似，但是。
2024-12-30 13:08:45
350
原创 打包本地idea项目在docker的storm集群上运行
在本地依赖pom.xml添加如下代码，保证打包后的jar包带依赖，否则会报错加载不到项目主类。将打包后的项目上传到nimbus的/opt/storm路径下。在localhost:8080可查看运行情况。打包，生成jar包在target目录下。docker cp “你的jar包路径”改为提交到集群上运行。4.在powershell执行命令。3.Terminal执行。查看是否含有打包文件。
2025-03-02 15:21:11
943
原创 Hadoop集群子节点意外删除，父节点重新克隆配置
4.修改配置文件“/etc/sysconfig/network-scripts/ifcfg-eth0”，“ifconfig -a”查看DEVICE 和 HWaddr进行对应修改。如下图所示，若DEVICE是eth1则修改为eth1。3. 启动hadoop集群发现找不见datanode节点。且根本无法连接克隆后的子节点。输入“service network restart”连接成功。5.在主节点与子节点ssh经过修改也连接成功。2.修改子节点前缀名称。
2025-02-17 17:01:45
187
原创 HIVE,hdfs,HBASE,MapReduce基础知识及实例应用
详细来说，元数据会包括文件、目录名称，文件的生成时间、副本数和权限，被分割成的多个数据块的信息。客户端向ResourceManaget发送请求，申请唯一作业ID，ResourceManager响应请求，返回一个用于提交资源的路径和分配作业ID。//从桶1开始抽，抽2个。执行检查点（CheckPoint）操作，定期将edits日志中最新的状态信息合并到fsimage中，防止edits过大。其中，‘Tom’为行键，唯一标识一行数据，course为列族，math,art,english为列限定符。
2025-01-01 13:16:43
1211
原创 flink, storm, Spark Streaming对比
Spark Streaming是一个粗粒度的框架，也就是只能对一批数据指定处理方法，核心是使用微批次（Mcro-batch）架构。根据程序配置的时间，将时间范围内所有数据打成一个RDD，发送给Spark Core处理，如果入水口大于出水口速度，势必造成水管破裂，所以内部会采用背压机制进行处理。在Flink中，所有数据都看做流，是一种很好的抽象。Flink主要用于流处理和批处理，它的设计目标是提供高性能和低延迟的数据处理能力。Storm用于用于实时数据处理，设计目标是提供高吞吐量和低延迟的数据处理能力。
2024-12-30 15:05:08
186
原创 本地程序jar包在Flink的Web UIsubmit不了
并行度设置一定要根据集群搭建的taskManager数量来确定，若在代码中设置的并行度大于了taskManager数量，则submit时会报错source不足。此时应该调整并行度，或增大节点数量。本地可以运行，但集群中无法识别到mysql驱动。系统内部为了保证一致性，预防命名冲突，通常会报Warning提示修改依赖。
2024-12-30 13:55:57
205
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人