jdk1994的博客

在使用sqoop抽取mysql中到hive时，其中两个字段数据发生了如下变化:明显该字段被转成了ascii类型，查看Mysql中数据库表字段是mediumtext类型。估计是不识别这种类型，找了一下资料，发现可以对字段进行转义：--map-column-java xxx=String如果是有多个字段需要转义的话，如下所示：--map-column-java 字段1=String,字段2=String,字段3=String,字段4=String其中有两个小细节，字段名必须.

1、找到对应的application id进入yarn source页面，找到正在执行中的任务2、登录容器进入yarn-resourcemanager 节点# 查看yarn相关的容器信息kubectl get pods -o wide|grep yarn# 进入resourcemanager容器kubectl exec -it hadoop-yarn-resourcemanager-yarn1-5dbd4f764d-gdjxp bash3、杀死进程查..

今日准备搭建一套GP数据库，创建用户后，发现之前创建的gpadmin用户，该用户下居然运行着TDH的很多服务；经检查发现时TDH服务采用镜像方式启动，其中服务上的用户ID和镜像中的用户ID冲突了，导致显示有误；故决定将gpadmin的用户ID修改一下。1、查看gpadmin的用户Id2、修改gpadmin的用户Id2.1 修改过程中发现该用户被其他进程占用查看进程发现进程不过是普通连接，直接kill -9杀掉2.2 重新修改用户ID3、修改gpadmin的用户组I

dd if=/dev/zero of=/app/test.dat bs=1M count=40960

1、sqoop 默认开启4个split，如不指定map=1；可能会导致数据重复；2、sqoop import 开启并发，需指定并发字段，避免数据重复；