- 博客(6)
- 收藏
- 关注
RSS订阅原创 flink配置使用cdh集群yarn运行任务
想要让 Flink 服务运行与 YARN 之上，首先需要让 Flink 能够发现 YARN 和 HDFS 的相关配置，因此，需要通过HADOOP_CLASSPATH、HADOOP_CONF_DIR 属性来指定 Hadoop 配置文件所在目录；1、解压（这里采用的参考文档的1.14.5版本，本人测试过1.17.0版本的flink，版本和cdh当前的cdh涉及的组件不匹配，除参考文章的scala，zookeeper版本也不匹配）将配置好的flink分发到其它两个节点（我的集群是三个节点）#操作hdfs的用户。
2024-08-30 17:52:24
663
原创 maxwell同步mysql binlog数据到kafka
这种只能删除mysql的maxwell库，然后再启动maxwell服务（会在mysql中生成新的maxwell配置），暂无其他解决方案（重启后如果binlog日志文件没变动，不会丢失数据；sh /data/maxwell/alert_maxwell/run_maxwell_alert.sh ${arr1[$i]} ${jobID} ${date} #调用预警接口，这个是我们公司内部的，你们用自己公司的预警接口就行。--kafka_topic=maxwell_prd_rms: 发送kafka对应Topic。
2024-05-27 11:04:54
1169
原创 CDH搭建
impala由Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。基于Hive使用内存计算，兼顾数据仓库、具有实时、批处理、多并发等优点。是CDH平台首选的PB级大数据实时查询分析引擎。已有的Hive系统虽然也提供了SQL语义，但由于Hive底层执行使用的是MapReduce引擎，仍然是一个批处理过程，难以满足查询的交互性。相比之下，Impala的最大特点就是基于内存处理数据，查询速度快。
2024-05-26 01:22:28
1000
原创 hive通过元数据修改表名
第二步：观察存储信息表的数据可以发现，存储信息表由sd_id作为主键，但对于同一表字段结构的分区来说，cd_id也是这张表这些分区在存储信息表中的共同主键。【注意，有些表，不同分区表字段的结构不一样，所以对应的cd_id也是不一样的】通过关联tbls表和partitions表，我们可以得到这张表所有分区对应的存储信息sd_id。我们找出这个表字段结果，对应的所有存储信息，并修改这些存储信息中，对应的hdfs存储路径。第三步：正常情况下，一张分区表所有分区的字段结构都相同的，cd_id是同一个。
2024-03-04 17:22:20
487
原创 hive表通过元数据新增字段
观察存储信息表的数据可以发现，存储信息表由sd_id作为主键，但对于同一表字段结构的分区来说，cd_id也是这张表这些分区在存储信息表中的共同主键。【注意，有些表，不同分区表字段的结构不一样，所以对应的cd_id也是不一样的】但如果为分区表新增字段时，未加cascade关键字，那么可能导致表历史分区用的是历史的字段结构，新产生的分区才用最新的字段结构。我们在字段信息表中，查找出对应cd_id的最大integer_idx值，也就是表最后一个字段的序号。partitions --元数据的表分区信息。
2024-03-04 17:13:31
394
原创 ksql rest api 查询报错415 Unsupported Media Type
错误的将Content-Type设置为了application/vnd.ksql.v1+json。正确的请求方式如下。
2024-03-04 17:02:43
394
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人