javaMylife的博客

hive 自动检测、自动重启、记录检测日志、自动清理日志

后来查看hiveserver2管理页面（默认10002端口）发现存在很多没有释放掉的session，发现代码中很多地方都没有释放连接，如果不手动释放默认7天才会释放，最大连接数默认500。sql执行完成后30秒，如果没有进行任何操作，待检查任务执行时，会自动释放掉session。开启ide超时检查，会检查已经执行完成的任务，30秒后自动释放session。具体多少秒后自动释放，根据访问频次来修正，如果访问的很少可以时间长一点。可以配置hive-site.xml，让hive手动释放连接。

bitmap 在连续模型中的应用

hive数据立方体 cube

lag() lead() first_value() ,last_value() ,sum_over() ,row_number()

session标准步骤

数仓漏斗模型，正则匹配，sort_array

Hive 3.1.2版本会有这个bug，3.2.0好像就已经修复了MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatisticsdeset hive.stats.autogather=false;然后再建表

package com.ws.bulkloaderimport org.apache.hadoop.fs.Pathimport org.apache.hadoop.hbase.client.ConnectionFactoryimport org.apache.hadoop.hbase.{HBaseConfiguration, KeyValue, TableName}import org.apache.hadoop.hbase.io.ImmutableBytesWritableimport or.

数字类型TINYINT(1字节整数)SMALLINT(2字节整数)INT/INTEGER (4字节整数)BIGINT(8字节整数)FLOAT(4字节浮点数)DOUBLE(8字节双精度浮点数)示例：create table t_test(a string ,b int,c bigint,d float,e double,f tinyint,g smallint)时间类型TIMESTAMP(时间戳) (包含年月日时分秒毫秒的一种封装)DATE...

修改表定义仅修改Hive元数据，不会触动表中的数据，用户需要确定实际的数据布局符合元数据的定义。修改表名：ALTER TABLE table_name RENAME TO new_table_name示例：alter table t_1 rename to t_x;修改分区名：alter table t_partition partition(department='xiangsheng',sex='male',howold=20) rename to partition..

数据导入导出将数据文件导入hive的表方式1：导入数据的一种方式：手动用hdfs命令，将文件放入表目录；方式2：在hive的交互式shell中用hive命令来导入本地数据到表目录hive>load data local inpath '/root/order.data.2' into table t_order;方式3：用hive命令导入hdfs中的数据文件到表目录hive>load data inpath '/access.log.2017-08-06...

建库hive中有一个默认的库：库名： default库目录：hdfs://hdp20-01:9000/user/hive/warehouse新建库：create database db_order;库建好后，在hdfs中会生成一个库目录：hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db建表use db_order;create table t_order(id string,create_time str..

启动一个hive交互shellbin/hivehive>设置一些基本参数，让hive使用起来更便捷，比如：让提示符显示当前库：hive>set hive.cli.print.current.db=true;显示查询结果时显示字段名称：hive>set hive.cli.print.header=true;但是这样设置只对当前会话有效，重启hive会话后就失效，解决办法：在linux的当前用户目录中，编辑一个.hiverc文件，将参数写入其中：v.

1、停掉服务 service mysqld stop2、删除rpm包 rpm -qa | grep -i mysql| xargs rpm -e --nodeps3、删除遗留文件 find / -name mysql | xargs rm -rf4、find / -name my.cnf | xargs rm -rf装新的服务端：rpm -ivh ***rmp客户端：rpm -ivh ***rmpservice mysql startcat /root/.mysql...