weixin2006的博客

#!/bin/bash source /etc/profile #该脚本为手动传参根据MySQL表信息创建hive表 #输入参数判断逻辑 必须数据两个参数，一个是MySQL库名，第二个是表名 #if [ $# -eq 2 ];then # db_name=$1 ##mysql 库名 # tbl_name=$2 ##MySQL 表名 #else # echo "参数个数错误" # exit 8 #fi db_name=$1 tbl_name=$2 DB_HOST='ip' DB_PO

----待更新 例如查看ods库大小： hadoop fs -du -s -h /user/hive/warehouse/ods.db 如果要查看其他文件夹则改成该文件夹路径。 去掉-h选项则按Byte单位显示。

跨集群传输数据：(由nameservice2集群传入nameservice1集群) 这里传输的时候目录要以/结尾，不行就在/添加* hadoop distcp -skipcrccheck hdfs://nameservice2/user/hive/warehouse/ods_yspay_trade.db/ods_orderbill/ hdfs://nameservice1/user/hive/warehouse/temp.db/orderbill_test/ 传入之后hive查询不到数据： 如果添加正

CDH6的RPM包地址： 下载CM6.1的安装包 https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_6...

脚本内容如下： hive -e “show databases;” > /home/eptok/tb.txt dir=/home/eptok/tb.txt dir1=/home/eptok/tb1.txt dir2=/home/eptok/ods.txt cat dir∣whilereadlinedoresult=‘echo"dir | while read line do result=`...

建模 1、介绍 Hive作为数据仓库，同关系型数据库开发过程类似，都需要先进行建模，所谓建模，就是对表之间指定关系方式。建模在hive中大致分为星型、雪花型和星座型。要对建模深入理解，首先需要对hive数仓中的集中表概念进行界定。hive中的表从形态上分内部表、外部表、桶表、分区表。在数据逻辑上划分为维度表和事实表。维度表等价于我们常说的字典表。事实表就是字典表之外的数据表。 1.1 星型 多张维...