自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(7)
  • 收藏
  • 关注

原创 Seatunnel 2.1.3 源码打包、编译运行

记录一下:Seatunnel源码修改之后,本地编译打包执行,中间遇到的问题。

2022-12-02 10:21:32 2066 2

原创 如何查看Hive表占用存储大小

在 Hive 中查看表占用的存储大小,主要有。

2025-12-25 16:23:07 212

原创 Mysql用户密码修改-高效完整版本

起因:安全部门审查出来某一台服务器上存在弱密码,于是要求整改。翻看之后,发现是由于Mysql用户密码过于简单造成的。

2025-12-18 14:46:39 156

原创 StarRocks报错解决方案Failed to find enough host in all backends. need: 3, Current alive backend is [10003]

SQL 错误 [1064] [42000]: Failed to find enough host in all backends. need: 3, Current alive backend is [10003]错误原因是由于只有一台节点,没有副本,而StarRocks默认的是三副本(推荐3be集群)。我们项目测试的StarRocks组件只有一台backend节点。

2025-12-16 15:21:02 125

原创 hdfs 权限问题: AccessControlException: Permission denied: user=root

工作中经常需要使用在服务器上使用shell脚本对HDFS文件所有者为“hdfs、hadoop”的文件做修改或删除操作。正常情况下脚本运行在hdfs的linux宿主机,有hdfs用户,可以切换到hdfs用户再执行。现在使用华为云主机,shell脚本运行在pod中,只有root用户,没有hdfs用户。会出现如下报错:org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE,

2025-12-06 13:41:55 268

原创 Spark调优实战

首先解释一下名词:num-executors 线程数:一般设置在50-100之间,必须设置,不然默认启动的executor非常少,不能充分利用集群资源,运行速度慢executor-memory 线程内存:参考值4g-8g,num-executor乘以executor-memory不能超过队列最大内存,申请的资源最好不要超过最大内存的1/3-1/2executor-cores 线...

2020-03-03 15:15:23 559 2

原创 hive面试题

有一张很大的表:TRLOG该表大概有2T左右TRLOG:CREATE TABLE TRLOG(PLATFORM string,USER_ID int,CLICK_TIME string,CLICK_URL string)row format delimitedfields terminated by '\t';数据:PLATFORM USER_ID CLICK_TIME CL...

2018-10-16 10:19:12 14

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除