javaMylife的博客

hive 自动检测、自动重启、记录检测日志、自动清理日志

后来查看hiveserver2管理页面（默认10002端口）发现存在很多没有释放掉的session，发现代码中很多地方都没有释放连接，如果不手动释放默认7天才会释放，最大连接数默认500。sql执行完成后30秒，如果没有进行任何操作，待检查任务执行时，会自动释放掉session。开启ide超时检查，会检查已经执行完成的任务，30秒后自动释放session。具体多少秒后自动释放，根据访问频次来修正，如果访问的很少可以时间长一点。可以配置hive-site.xml，让hive手动释放连接。

bitmap 在连续模型中的应用

hive数据立方体 cube

lag() lead() first_value() ,last_value() ,sum_over() ,row_number()

session标准步骤

数仓漏斗模型，正则匹配，sort_array

Hive 3.1.2版本会有这个bug，3.2.0好像就已经修复了 MetaStoreClient lost connection. Attempting to reconnect (1 of 1) after 1s. setPartitionColumnStatisticsde set hive.stats.autogather=false; 然后再建表

package com.ws.bulkloader import org.apache.hadoop.fs.Path import org.apache.hadoop.hbase.client.ConnectionFactory import org.apache.hadoop.hbase.{HBaseConfiguration, KeyValue, TableName} import org.apache.hadoop.hbase.io.ImmutableBytesWritable import or.

数字类型 TINYINT(1字节整数) SMALLINT(2字节整数) INT/INTEGER (4字节整数) BIGINT(8字节整数) FLOAT(4字节浮点数) DOUBLE(8字节双精度浮点数) 示例： create table t_test(a string ,b int,c bigint,d float,e double,f tinyint,g smallint) 时间类型 TIMESTAMP(时间戳) (包含年月日时分秒毫秒的一种封装) DATE...

修改表定义 仅修改Hive元数据，不会触动表中的数据，用户需要确定实际的数据布局符合元数据的定义。 修改表名： ALTER TABLE table_name RENAME TO new_table_name 示例：alter table t_1 rename to t_x; 修改分区名： alter table t_partition partition(department='xiangsheng',sex='male',howold=20) rename to partition..

数据导入导出 将数据文件导入hive的表 方式1：导入数据的一种方式： 手动用hdfs命令，将文件放入表目录； 方式2：在hive的交互式shell中用hive命令来导入本地数据到表目录 hive>load data local inpath '/root/order.data.2' into table t_order; 方式3：用hive命令导入hdfs中的数据文件到表目录 hive>load data inpath '/access.log.2017-08-06...

建库 hive中有一个默认的库： 库名： default 库目录：hdfs://hdp20-01:9000/user/hive/warehouse 新建库： create database db_order; 库建好后，在hdfs中会生成一个库目录： hdfs://hdp20-01:9000/user/hive/warehouse/db_order.db 建表 use db_order; create table t_order(id string,create_time str..

启动一个hive交互shell bin/hive hive> 设置一些基本参数，让hive使用起来更便捷，比如： 让提示符显示当前库： hive>set hive.cli.print.current.db=true; 显示查询结果时显示字段名称： hive>set hive.cli.print.header=true; 但是这样设置只对当前会话有效，重启hive会话后就失效，解决办法： 在linux的当前用户目录中，编辑一个.hiverc文件，将参数写入其中： v.

1、停掉服务 service mysqld stop 2、删除rpm包 rpm -qa | grep -i mysql| xargs rpm -e --nodeps 3、删除遗留文件 find / -name mysql | xargs rm -rf 4、find / -name my.cnf | xargs rm -rf 装新的 服务端：rpm -ivh ***rmp 客户端：rpm -ivh ***rmp service mysql start cat /root/.mysql...