sghuu的博客

在采用常用的数据迁移工具时，常会采用sqoop和dataX工具，在数据迁移时难免会遇到一些特殊字符的处理，比如hive里的换行符\n无法更改，而原数据源难免的会存在一些数据格式会存储\n,如mysql里的mediumtext格式就会存储有\n，这是后数据存储进hive后就不可比遍的与hive的换行符冲突，造成数据的切分错乱。解决方案：方案一：把换行符替换成空字符串，sqoop中有替换的参数，但是datax中没有。如下 将下将换行符换成 ‘\n’，在sqoop的配置李添加下列参数–hive-deli

关于字符串转换成日期格式的函数：select from_unixtime(unix_timestamp('2015/01/01' ,'yyyy/MM/dd'), 'yyyy-MM-dd') ;2019-01-01建表语句：drop table action if exists ;create table action( id string , vd string, vc int...

关系型数据库中，对分区表Insert数据时候，数据库自动会根据分区字段的值，将数据插入到相应的分区中，Hive中也提供了类似的机制，即动态分区(Dynamic Partition)，只不过，使用Hive的动态分区，需要进行相应的配置。1．开启动态分区参数设置（1）开启动态分区功能（默认true，开启）hive.exec.dynamic.partition=true（2）设置为非严格模式（动...

1）运行Tez时检查到用过多内存而被NodeManager杀死进程问题：Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1546781144082_0005 failed 2 times due to AM Container...

**hive的优化**1. Fetch 抓取Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。在hive-default.xml.template文件中hive.fetch.task.conversio...