- 博客(3)
- 收藏
- 关注
RSS订阅原创 Spark提交任务至Yarn中文乱码
将Sql语句，sql结果，字符编码通过log.error打印出来。参考网址：–spark on yarn 中文乱码问题，help？显示字符编码不是utf-8 中文也显示问号 取出时间是null。提交任务至spark历史服务器查看。
2024-03-04 11:35:05
400
1
原创 Java推送邮件时邮箱失效
发现失效邮箱，如果不做更改每一次邮箱失效时都要手动维护，会大大的提高人工成本，于是便考虑采用递归的思想，在catch的过程中检测错误类型，重新创建集合添加地址，重新执行原方法。但是我觉得这个方法的性能看上去不是很好的样子，如果有更好的建议也希望各位大佬在评论中提出，我也想学习学习，先谢过各位了咯 (#^.^#)。之前的开发中，写过一个定时推送邮件的需求，近期有业务人员跟我反映没有收到邮件推送，发现代码定时任务执行成功，但内部出现报错。注：本地运行时需要需要把配置文件路径改成本地的路径。
2023-04-24 09:25:48
364
1
原创 sparkSQL实现gorup_concat()
最近在开发的时候遇到将同一分组数据通过某列值拼接的问题，在网上找到gorup_concat()函数解决此类问题，但在写spark程序的时候发现spark内助函数不存在gorup_concat()，便考虑其他解决方法，最终发现concat_ws()，结合collect_set()可实现同样功能。
2023-04-21 17:14:39
1408
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人