JeitZz的博客

在进行查看hive表字段描述信息的时候发现乱码一，查看当前编码1.打开mysql查看当前编码mysql> \s看到当前编码格式2.接着输入下面语句查看mysql> show variables like "char%";二、我们修改my.cof配置文件在mysqld里面添加下面的属性[mysqld]init_connect='SET collation_connection = utf8_unicode_ci'init_connect='SET NAMES ut

执行以下操作发现mysql数据不能被初始化schematool -dbType mysql -initSchema解决上述初始化mysql元数据库失败的情况，进入mysql执行下面操作mysql> SET GLOBAL binlog_format = 'STATEMENT';mysql> SET GLOBAL binlog_format = 'ROW';mysql> SET GLOBAL binlog_format = 'MIXED';...

hive的调优优化的主要考虑方面:环境方面：服务器的配置、容器的配置、环境搭建具体软件配置参数：代码级别的优化优的主要原则: 20/80原则非常重要,简单的说80%的程序时间执行时间花费在20%的代码上,所以重点就先要 找到这关键的20%代码做重点优化.1.explain 和 explain extendedexplain ： 只有对hql语句的解释。explain extended：对hql语句的解释，以及抽象表达式 树的生成。 当执行上面两个语句时.一般会分为多个stagestag

函数系统内置函数(较多用的)hive> show funtions;日期函数:-- 时间戳转日期 select from_unixtime(1505456567); select from_unixtime(1505456567,'yyyyMMdd'); select from_unixtime(1505456567,'yyyy-MM-dd HH:mm:ss');-- 获取当前时间戳 select unix_timestamp();-- 日期转时间戳 select unix_

hive的Shell指令1. hive> set 2. hive -e “命令” 只执行一次3. hive -S -e "set" | grep cil.print4. hive -f /path/cat.sql5. hive> source /path/cat.sql6. hive> !pwd; 在hive内显示所在路径7. hive> dfs -ls /; 在hive内部执行hdfs命令分区和分桶：分区和分桶都是为了提高hiv

hive简介Hive最早来源于FaceBook ,因为FaceBook网站每天产生海量的结构化日志数据，为了对这些数据进行管理，并且因为机器学习的需求，产生了Hive这门技术，并继续发展成为一个成功的Apache项目。hive的架构图示用户连接接口CLI：是指Shell命令行 JDBC/ODBC:是指Hive的JAVA实现，与传统数据库JDBC类似。 WebUI:是指可通过浏览器访问Hive。thriftserverhive的可选组件,此组件是一个软件框架服务，允许客户端使用包括Java、