- 博客(2)
- 收藏
- 关注
RSS订阅原创 Sqoop 同步数据到mysql， Can't parse input data: '\N'
Sqoop 同步数据到mysql Sqoop 从hdfs 同步数据到mysql 是我们常常遇到的事情 同步分为 分区表同步和非分区表同步 需要注意以下几点 1. hive 中的表 必须是textfile ，不能是有parquet 等压缩方式的 2.hive 表如果是分区表，需要每次只能同步一个分区的数据到 mysql， 如果hive 有多个分区，只能写多个脚本，或者多个循环调...
2018-12-26 17:08:32
3044
原创 hive 在kettle 作业return code 2 的问题 Unexpected exception: Unexpected exception: Unexpected exception:
今天突然进去跑不了数据老是报错return code 2 .之前可以跑通的。 日志如下 矢量查询(Vectorized query) 每次处理数据时会将1024行数据组成一个batch进行处理，而不是一行一行进行处理，这样能够显著提高执行速度。 可以通过设置 set hive.vectorized.execution.enabled = true; 但是如果数据量很大，她的batch就会很多...
2018-12-20 20:40:58
669
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人