- 博客(9)
- 收藏
- 关注
RSS订阅原创 Hive有分区文件到时select不到数据问题-----修复分区命令 msck repair table xxxxx
问题：在导数据到hive分区表时， 手动把HDFS路径建好了，然后把对应的文件添加到路径下。 这时用select语句查询却查不到数据。原因：虽然分区文件有了，但是分区信息没有添加到hive元数据表中。解决方法：运行命令msck repair table xxxxx， 修复hive分区将分区信息加到元数据表...
2019-08-02 14:42:30
3246
原创 Sqoop1.99.7接入kerberos提交到yarn任务认证失效问题
问题：kerberos的keytabs凭证有效时间只有24h，sqoop server启动后过了24小时提交任务报认证过期提交失败。原因：sqoop使用的jobClient是启动时创建的，并且每次submit,update或stop操作都没有刷新UGI。具体代码位置是org.apache.sqoop.submission.mapreduce.MapreduceSubmissionEngine...
2019-07-29 15:08:09
506
原创 Sqoop1.99.7：encoded string too long: xxxx bytes问题记录
版本：Sqoop1.99.7问题描述：在项目上需要从oracle交换数据到hive中，oracle表中有大字段（clob，blob等），在mapper阶段抛出了encoded string too long 错误。原因：因为Sqoop中间交换的数据格式默认使用的是CSVIntermediateDataFormatpublic void write(DataOutput out) 方法会把m...
2019-07-24 10:53:01
703
原创 JAVA后台发送HTTP请求中文乱码问题
1 。使用httpclientStringEntity stringEntity = new StringEntity((String) obj,SqoopConstant.DEFAULT_CHARSET);这里需要指定下编码。2. 使用RestTemplate如果使用string converter需要设置charset...
2019-07-24 10:36:18
951
原创 Hive count结果为0 但表中有数据
Compute simple queries using stats only 参数设为falsehive.compute.query.using.stats=false
2019-07-24 10:32:35
977
原创 Hdfs文件夹配额设置
在load hdfs文件到hive时报错The DiskSpace quota of is exceeded首先用hdfs用户登录清除配额上线hadoop dfsadmin -clrSpaceQuota hdfs://chinacreator/apps/hive/warehouse/frk.db/设置配额hadoop dfsadmin -se...
2019-07-24 10:30:58
1271
原创 docker手动打image
1.准备好war包2.将war包和Dockerfile放在同一目录下3. 编辑Dockerfile4 . 登录docker仓库docker login registry.c2cloud.cn5. build镜像docker build -t registry.c2cloud.cn/kcbdp/c2-bdg-dcs-service:1.1.1 ....
2019-07-24 10:28:44
452
原创 AOP问题记录
问题：当切面切的方法是实现类里的时候，方法调用时不进入切面（自调用不进入切面）原理：Spring Aop有2种代理方式, 一是基于 JDK Dynamic Proxy 技术而实现的；二是基于 CGLIB 技术而实现的如果一个类实现了某个接口 会默认使用JDK Dynamic Proxy比如有2个方法methodA,methodB, 所切方法为 methodB(){}当内部类直接调用所切方...
2019-07-24 10:20:41
167
原创 HDFS命令操作报java.lang.OutOfMemoryError:java heap space
执行hadoop fs -ls / 时出现 java.lang.OutOfMemoryError:java heap space原因 ：目录下小文件过多，猜测可能是因为文件数据多大使得元数据过大导致加载到client客户端时会引起内存不足解决方案：修改/etc/hadoop/conf/hadoop-env.sh加大HADOOP_CLIENT_OPTS的配置...
2019-07-24 10:14:31
1037
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人