eyeofeagle的博客

1, hive安装目录[root@bigdata4 ~]# tail /export/hive/conf/hive-env.shexport HADOOP_HEAPSIZE=2048export HADOOP_CLIENT_OPTS="-Xmx2g -Xms2g -Djava.net.preferIPv4Stack=true $HADOOP_CLIENT_OPTS"HADOOP_HOME=/export/hadoopHADOOP_CONF_DIR=/export/common/hadoop/con

文章目录1， 方式1: -e 'sql1' 'sql2' 'sql3'2，方式2: !sql sql1; sql2; sql31， 方式1: -e ‘sql1’ ‘sql2’ ‘sql3’[root@hw10 ~]# beeline -e "show databases" "use test" "show tables" "select * from score limit 2" 'create table t1 like score stored as textfile'SLF4J:

1，安装配置openldapyum install openldap-servers openldap-clients -y yum install migrationtools -ycp /usr/share/openldap-servers/slapd.conf.obsolete /etc/openldap/slapd.confsed -i '122irootpw 123456' /etc/openldap/slapd.confsed -i 's@my-domain@cdh@g'

1，问题#################### hbase数据：字段有换行符号hbase(main):001:0> get 'test','r2'COLUMN CELL f:age timestamp=1599799051999, value=23 f:name timestamp=1600

1, 需求分析数据源/数据格式　: 某医院的hbase表–> 映射hive 外表–> 使用hive函数分析数据person_name oper_code oper_time oper_group_numperson1 1 2018/9/3 12:23 person1_0001person1 2 ...

hive与关系型数据库hive函数hive优化: 表设计, mr作业part1: hive对比关系型数据库hive: 基于Hadoop的一个数据仓库工具，将结构化的数据文件映射成一张表，并提供类sql语句的查询功能, 使用Hql作为查询接口，使用HDFS存储，使用mapreduce计算mysqlhive存储位置本地文件系统hdfs文件系统表文件存储形式...

hive优化: 表设计, mr作业linux系统下， 在用户当前目录创建配置文件~/.hiverc， 加入配置参数part1: 本地模式#显示头，db: set hive.cli.print.current.db=true ; set hive.cli.print.header=true ;#本地模式：set hive.exec.mode.local.auto=true ;s...

1， 数据源端hive表数据导出到本地目录 - - -> scp 本地目录到远程主机hive> select * from t;OKt.id t.name1 a2 a23 bTime taken: 0.451 seconds, Fetched: 3 row(s)hive> insert overwrite local directory '/root/t.da...

创建分区表：插入数据( 动态分区，手动分区)create table users(id int,user_id int,user_name string);create table product(id int,product_id int,product_name string,price double);create table orders (id int,...

简单函数，对int, String, boolean类型的操作， 可以直接集成UDF, 编写evalute方法即可，如图：打包后，在hive命令行中添加该jar包，即可创建自定义函数：hive> delete jar /home/wang/sparkTest/out/artifacts/sc2_jar/sc2.jar;Deleted [/home/wang/sparkTest/ou...

要点如下：如何安装hive, 使用hive (hive +mysql ) hive中： 如何建表（数据类型, 字段修改） hive中： 怎样向表中插入数据 hive 与mysql 的关系： mysql作为元数据存储容器 hive中： 有哪些查询语句，函数（wordcount, union, topk问题) hive 交互的jdbc接口： hiveserver2( java api............

在项目中遇到某些场景需要自定义函数，如日期处理：那么如何在hive中要自定udf函数呢？ 只要定义一个类Myudf 继承org.apache.hadoop.hive.ql.udf.generic.GenericUDF，然后打成Jar包, 发送到hive所在机器或hdfs, 登录hive, 使用命令创建函数：create function myfun1 as "包名.Myudf&a

在hive项目中， 有client和server通信的log日志体系如下，中间的网络传输使用的json格式，所以在server端接收时需要使用阿里的fastJSON来解析为日志聚合体LogAgg类；然后使用自定义表生成函数UDTF, 分别取出Error表, Event表，StartUp表的数据, 数据转储到各表中，完成日志的初步ETL。所以，这个UDTF如何定义？类似于上篇的自定义UDF函数...