
spark
大鹏_展翅
这个作者很懒,什么都没留下…
展开
-
sparkStreaming:Exception in thread “streaming-job-executor-0“ java.lang.Error: java.lang.Interrupted
偶尔服务器中报错如下,不是必现,这个问题有点丈二和尚摸不着头脑,摸不着头脑。各种尝试,最后把稳定定位在offset 保存不成功,导致程序保存。Exception in thread "streaming-job-executor-0" java.lang.Error: java.lang.InterruptedException at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1.原创 2021-02-22 14:08:26 · 2636 阅读 · 2 评论 -
Mysql中自定义开窗函数,row_number,dense_rank.
在数仓开发中或者数据分析中,我们经常用到开窗函数。但是在Mysql中没有我们该怎么办呢?如下是在实际开发中遇到的两个例子,给大家分享一下,希望能帮到大家自定义实现row_numberSELECT student_id, student_name , @i := @i + 1 AS rownumFROM student, ( SELECT @i := 0 ) t通过以上sql,可以看出其实很简单。只需要定义变量i,然后再每一列后面i自增+1即可。自定义实现den...原创 2021-01-22 14:14:47 · 744 阅读 · 0 评论 -
Spark插入Es如何自己设置id?
当我们插入向Es插入数据时,我们不自己插入id时,Es会自动帮我们生成随机id,有时候不方便我们查询,如下图:那么我们会想是不是在插入的时候,_id =6,就可以插入呢?**亲测不行:**请看上图 “6”会单独生成一列。那么具体解决办法如下:其实方法很简单。我们只需要在保存Es 的索引时指定_id的映射的字段就可以了。具体如下图:...原创 2020-11-08 09:47:07 · 1465 阅读 · 0 评论