- 博客(18)
- 收藏
- 关注
RSS订阅原创 idea本地编译Spark源码报错
之前不知道在哪里听说的，程序员不需要关注WARNING日志😭。将Maven版本升级到3.8.7后问题解决。2、升级Maven版本详细步骤。仔细看日志其实说的比较清楚了。
2023-11-03 16:53:17
193
原创 Spark SQL源码阅读flag
并且想从阅读SparkSQL源码开始，学习Spark源码的设计理念思路，学习里面的设计模式、SQL解析方案、SQL优化能力等，深入了解之后，争取能在开源社区领取几个issue解决，也做一次Apache contributer。一直使用SparkSQL，总是看别人关于Spark SQL的源码解读文章，觉得自己对Spark比较了解深入，但是真正在做一些更深层次的追究时，还是不够的。今天立下此flag，每天争取抽1到两个小时学习时间，完成对Spark SQL和Hive源码的阅读、标记。
2023-10-26 20:44:03
141
原创 Spark job预估还有多久运行完
有时Spark job启动之后想看看还有多久才能运行完成，可以通过上下不stage的write和read数量来粗略的判断。也就是还剩下 14219 - 12770 = 1449条数据没有处理。下一个stage 10。
2023-04-21 17:41:53
273
原创 Process exited with an error: 240 (Exit value: 240)
并且有堆溢出[ERROR] error: java.lang.StackOverflowError。idea本地运行项目没有问题，打包的时候如上错误。
2023-03-28 17:15:14
464
原创 JSONArray排序
JSONArray中封装的是JSONObject，根据JSONObject中的属性排序。JSONObject格式如下：[ { "status" : "COMPLETE", "stageId" : 16, "attemptId" : 0, "numTasks" : 1, "numActiveTasks" : 0, "numCompleteTasks" : 1, "numFailedTasks" : 0, "numKilledTasks" : 0, "numComplete
2021-11-17 14:43:02
3552
原创 2021-11-02T12:23:23.222GMT转换
2021-11-02T12:23:23.222GMTSpark History Service RestFul Api返回的时间格式是如上，不能使用SimpleDateFormat sdf = new SimpleDateFormat(“yyyy-MM-dd’T’HH:mm:ss.SSS’GMT’”);来转换，虽然可以解析成时间戳，但是不会默认转成东八区时间。要使用如下方式来转换：SimpleDateFormat sdf = new SimpleDateFormat(“yyyy-MM-dd’T’HH
2021-11-02 19:07:36
1036
原创 字符串拼接：String +=、StringBuilder.append()性能对比测试
都说在大量字符串拼接时尽量使用StringBuilder.append()来代替String += 来提高效率，但是出于好奇想看一下究竟效率差多少。写个程序测试一下：public class Test { private static final Logger logger = LoggerFactory.getLogger(Test.class); public static void main(String[] args) { Integer num = 100;
2021-08-17 15:29:29
1075
原创 对Map中按值进行排序
1.问题描述某些场景需要对map按value进行排序，我的一个开发场景就是如此。取出差值倒叙排序，分析前80%。2.上代码不多说，直接上代码public class Test { private static final Logger logger = LoggerFactory.getLogger(Test.class); public static void main(String[] args) { HashMap<String, Double>
2021-08-10 15:09:34
606
原创 Spark SQL 写入Hive ORC格式表报错问题
Spark SQL 写入Hive ORC格式表报错问题报错信息问题定位我的解决办法报错信息21/07/20 18:31:25 [task-result-getter-1] WARN TaskSetManager: Lost task 491.1 in stage 10.0 (TID 5637, BJLFRZ-10k-210-143.hadoop.jd.local, executor 94): org.apache.spark.SparkException: Task failed while writi
2021-07-29 11:31:44
2145
原创 MySQL修改my.cnf配置不生效的解决方法
MySQL修改my.cnf配置不生效的解决方法我这边my.cnf配置比较多，将新增的配置写在了配置的最后，而没有写在mysqld后面，导致配置不生效找了好久的原因。希望帮助到遇到同样问题的道友
2021-06-21 14:03:26
609
原创 Kafka代码连不上：Recovery is suppressed by NoRestartBackoffTimeStrategy
Kafka代码连不上：Recovery is suppressed by NoRestartBackoffTimeStrategy问题描述：Kafka客户端可以连接，远程通过代码就连接不上。是一个参数没有配置，而且这个ip必须写实际ip不能是localhost
2021-03-25 17:51:04
14129
12
原创 String与List判空，记住一点，先判null，再判“”
在java编程中会经常遇到String与list判断为空的情况，下面做一些记录。String：String有null，和 “” 两种情况，如果都需要去除掉可以直接使用StringUtils.isEmpty()方法进行判断。StringUtils.isEmpty()中执行的代码是：这里需要注意两个判断的先后，如果先判断string.length==0,在string为null的情况就会报错空指针异常。ArrayList：在ArrayList判断为空的情况时：同理也要先判断null，再使用list
2020-11-13 10:55:15
733
原创 想要shell脚本在全局可以使用
需要将xxx.sh命令放到 /usr/local/bin/ 目录下一般情况下，我会建立对应的一个软链接到bin下ln xxx.sh /usr/local/bin
2020-11-10 18:07:41
1251
原创 Permission denied: user=administrator, access=WRITE, inode=“/“:root:supergroup:drwxr-xr-x
Permission denied: user=administrator, access=WRITE, inode="/":root:supergroup:drwxr-xr-x收藏中有网上的解决方法，更改系统环境变量我没有生效。我的解决方法：object HiveSupport { def main(args: Array[String]): Unit = { System.setProperty("HADOOP_USER_NAME","hadoop") val spark: S
2020-09-23 11:27:14
285
原创 Maven打包时抛出should not point at files within the project directory …异常
1.问题：打包的时候报错，在网上找了很多但是都没有解决我这个现象最后一个个依赖添加，找出原因。希望能够帮助其他人。如果你得到解决请告诉我一声，让我知道记录错误有意义。2.现象3.原因和解决引入了外部依赖，但是没有加入version标签。加入version后再次打包成功。...
2020-06-18 15:42:43
1518
原创 没有那个文件或目录
执行shell脚本的时候，存在的目录确报错：没有那个文件或目录描述解决描述为了方便编写shell脚本，是在window下使用notpad++ 编辑的之后上传。出现这样的情况是因为win和Linux文件格式的不同；解决vim filename然后查看当前文件格式命令:set ff会显示window下的格式是dos，我们需要改为unix格式:set ff=unix再次执行不会报...
2020-03-11 10:43:07
834
原创 冒泡排序最优代码
冒泡排序最优代码原理：比较两个相邻的元素，将值大的元素交换至右端优点：每进行一趟排序，就会少比较一次，因为每进行一趟排序都会找出一个较大值。public class BubbleSort { public static void main(String[] args) { int[] arr = {6,3,7,9,2,1,4,5}; System.ou...
2019-10-14 15:07:12
259
原创 Kettle遇到的坑
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人