- 博客(29)
- 收藏
- 关注
原创 spark代码报错 java.sql.BatchUpdateException: Code: 243, e.displayText() = DB::Exception: Cannot reserve
java.sql.BatchUpdateException: Code: 243, e.displayText() = DB::Exception: Cannot reserve
2024-10-29 15:01:09
231
1
原创 INSERT INTO ... ON DUPLICATE KEY UPDATE 报错: Deadlock found when trying to get lock
ON DUPLICATE KEY UPDATE 报错: 死锁 Deadlock found when trying to get lock; try restarting transaction
2024-10-22 11:55:02
304
原创 sql(mysql8/clickhouse/spark)爆炸json数组
sql(mysql8/clickhouse/spark)爆炸json数组
2024-10-11 17:02:54
275
原创 java.lang.ArithmeticException: Rounding necessary
spark计算结果写入clickhouse报错:java.lang.ArithmeticException: Rounding necessary at java.math.BigDecimal.longValueExact(BigDecimal.java:3088)
2024-08-29 20:10:24
777
原创 clickhouse应用- 实现spark/hive的collect_list/collect_set
clickhouse应用- 实现spark/hive的collect_list/collect_set
2024-07-26 14:43:44
245
原创 clickhouse应用-实现类似spark/hive的lag/lead
clickhouse应用-实现类似spark/hive的lag/lead
2024-07-16 09:36:52
287
原创 scala解析json数据报错:java.lang.String cannot be cast to com.alibaba.fastjson.JSONObject
java.lang.String cannot be cast to com.alibaba.fastjson.JSONObjectFastjson and 谷歌Gson解析json
2024-06-19 17:23:00
555
原创 spark报错:CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
CoarseGrainedExecutorBackend: RECEIVED SIGNAL TERM
2024-06-19 17:15:12
681
原创 maxwell 报错Could not find first log file name in binary log index file
maxwell 报错Could not find first log file name in binary log index file
2024-06-14 13:57:00
489
原创 spark报错:Can‘t get JDBC type for array<int>
在spark中使用jdbc保存数据到ck报错Can't get JDBC type for array,是因为有一个字段是array。1、使用printSchema()查看数据是否与目标格式一样。与数据表中的字段类型int64不匹配。
2024-01-05 11:46:59
684
1
原创 【Hive面试题】(1.68M)
-一个Common Join operator转为Map Join operator的判断条件,若该Common Join相关的表中,存在n-1张表的已知大小总和<=该值,则生成一个Map Join计划,此时可能存在多种n-1张表的组合均满足该条件,则hive会为每种满足条件的组合均生成一个Map Join计划,同时还会保留原有的Common Join计划作为后备(back up)计划,实际运行时,优先执行Map Join计划,若不能执行成功,则启动Common Join后备计划。
2023-11-01 13:15:09
95
1
原创 【Redis面试题】(1.2M)
在一些极端情况下,仍然可能会出现误判,但通过合理的配置和定期维护,可以降低误判的概率,从而提高系统的性能和可用性。还有一个好处就是,在高并发下,一个业务有可能会执行很快,先客户1持有锁的时候,客户2来了以后并不会马上拒绝,它会自旋不断尝试获取锁,如果客户1释放之后,客户2就可以马上持有锁,性能也得到了提升。在Redis6.0之后,为了提升更好的性能,在命令回复处理器使用了多线程来处理回复事件,在命令请求处理器中,将命令的转换使用了多线程,增加命令转换速度,在命令执行的时候,依然是单线程)
2023-11-01 02:25:27
73
1
原创 在linux安装mysql后,执行grep “password“ /var/log/mysqld.log,找不到默认密码
解决MySQL安装bug:在linux安装mysql后,执行grep "password" /var/log/mysqld.log,找不到默认密码
2023-10-30 22:35:19
3534
10
原创 Flume安装部署及使用
Aapche Flume是由Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的软件,网址: http://flume.apache.org/Apache Flume的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地(sink)。为了保证输送的过程一定成功,在送到目的地(sink)之前,会先缓存数据(channel),待数据真正到达目的地(sink)后,flume在删除自己缓存的数据。
2023-10-27 18:13:00
713
1
原创 Sqoop安装部署及使用
sqoop是mysql/oracle/DB2等RDBMS体系与hdfs/hive/hbase等hadoop生态体系之间传输数据的一种工具;sqoop的工作机制是将导入导出命令翻译成MapReduce程序实现sqoop可以理解为: SQL-->hadoop and hadoop-->SQL数据导入导出:数据导入: RDBMS-->hadoop数据导出: hadoop-->RDBMS。
2023-10-27 17:06:29
645
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人