Hadoop
关注
分享
扫一扫
文章平均质量分 63
L4mbert
这个作者很懒，什么都没留下…
展开
-
Spark with Kerberos认证异常问题整理
Spark with Kerberos认证出现的各种异常，实际开发发现异常提示和问题本质相关性不高，因为认证过程高度封装。因此不记录异常提示，而是记录下排查思路。原创 2022-02-09 19:17:14 · 2597 阅读 · 0 评论 -
Spark SQL优化之路——Hive篇
Spark SQL针对Hive数据源的优化指南。原创 2021-10-31 11:46:27 · 5162 阅读 · 0 评论 -
Spark读取小文件调优参数
Spark读取小文件的调优参数，避免过多的Task原创 2021-10-31 03:03:52 · 1100 阅读 · 0 评论 -
Spark SQL on Hive，为什么小文件多task也多？
从源码层面分析Spark SQL小文件和task数量之间的关系。原创 2021-10-15 09:56:29 · 926 阅读 · 1 评论 -
打造集群间HIVE数据库表半自动迁移(overwrite)工具
本文旨在打造一个集群间HIVE数据库表半自动拷贝的工具，减少拷贝过程机械的重复。原创 2019-11-17 15:32:24 · 867 阅读 · 0 评论 -
Hadoop伪分布部署
本文完整地部署了Hadoop伪分布模式，并整理了一些部署过程中遇到的问题。原创 2019-11-02 20:41:13 · 1167 阅读 · 0 评论