小崔同学`-优快云博客

原创 hive报错Error: Java heap space 和return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

相关博客地址:https://blog.youkuaiyun.com/weixin_45780435/article/details/119828020

2021-08-20 17:27:56 467

原创 hive报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

hive报错:FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask相关报错报错一FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask. Exception when loading 362 in table报错截图报错二Error: Java heap sp

2021-08-20 17:25:35 1766

原创 FlinkSql Kafka入hbase

1.创建hbase表create '表名称','列簇'2.编写FlinksqlCREATE TABLE kafkaSource( id STRING, name STRING, age STRING, dt STRING) WITH ( type='kafka', kafka.bootstrap.servers='kafka IP地址:9092', kafka.auto.offset.reset='latest', k

2021-08-19 10:50:27 613

原创 Datax 报错：ERROR StdoutPluginCollector - java.sql.SQLException: TIMESTAMP 类型转换错误

一、相关日志截图二、问题场景使用datax 将mysql数据同步到mysql，执行任务后发现日志显示timestamp类型转换错误。三、解决方法因为目标表该字段类型是datetime类型，所以要在逻辑中进行转换。 cast(字段名 as datetime)...

2021-06-02 14:44:13 4122 6

原创 hdfs误删文件恢复教程

hdfs误删文件恢复教程(前提回收站是开启状态)一.查看是否开启回收站1 查看配置文件 core-site.xml文件中是否开启该fs.trash.interval配置2.相关配置: 将该配置文件添加到 core-site.xml中  <property> <name>fs.trash.interval</name> <value>1440</value>

2021-04-23 11:34:34 903

原创 hive sql通过具体地址解析出行政区划(省＞市＞区＞县＞乡＞镇＞村)

hive sql通过具体地址解析出行政区划(省 > 市 > 区 > 县 > 乡 > 镇 > 村)一. 创建表create table test_xzqh(dz string comment '地址')二.插入测试数据insert into test_xzqh values('温岭市箬横镇西江村232号'),('温岭市松门镇塘礁村'),('三门县浦坝港镇官塘村175号'),('温岭市横峰街道马鞍桥村村部'),('临海市古城街道台州府路162号'),('

2021-04-15 16:11:16 4263 5

原创 flink滚动窗口代码

flink滚动窗口代码讲解重点: 你单独在kafka写入一批数据进行测试,它不会直接出结果,等你下批测试数据进来的时候他才会显示上一批数据的最终结果集CREATE TABLE kafkaSource( username string, click_url string, ts timestamp, WATERMARK FOR ts as withOffset(ts,1000) --ts必须是表中已定义的一列（当前仅支持为Timestamp类型），含义是基于该列生成 wa

2021-04-01 16:47:31 428

原创 hive常见操作命令

hive常见操作命令一.日期类型获取当前时间yyyy-MM-dd HH:MM:ss 相关样例: select from_unixtime(unix_timestamp(),'yyyy-MM-dd HH:mm:ss') 日期格式转换yyyyMMdd互转yyyy-MM-dd select from_unixtime(unix_timestamp('20171205','yyyyMMdd'),'yyyy-MM-dd') 结果:2017-12-05 select from_unixti

2021-04-01 15:33:52 474

原创 blink任务上线报错

blink报错:could only be replicated to 0 nodes instead of minReplication (=1). There are 20 datanode(s) running and no node(s) are excluded in this operation.具体原因:因为资源不足导致的解决方法:调大资源

2021-04-01 10:45:59 323 1

weixin_45780435的博客