chic_data的博客

hive：数据仓库，Hive是一个基于Hadoop的数据仓库工具，将结构化的数据文件映射成一张     表，并提供类SQL的查询功能。 HQL（hive query language） hive 用HQL作为查询语句， 存储在HDFS上， 使用mapreduce作为计算工具， 支持UDF 支持自定义存储格式 适合做大量的离线数据处理 hive的用户接口：

安装 hive 1、下载 2、jdk和hadoop（伪分布式）可以运行 3、解压     tar zxf /opt/softwares/hive-0.13.1-cdh5.3.6.tar.gz -C ./ 4、配置     复制配置         cp hive-env.sh.template hive-env.sh         cp hive-default.xml.temp

hive的基本表操作 1.创建管理表 create table [if not exists] db01.student( id int, name string, age int, ... ) row format delimited fields terminated by '\t'; 2.加载数据 load data [local] inpath 'filepath'

sqoop     RDBMS ----> HDFS HIVE HBASE     HDFS HIVE HBASE ----> RDBMS     hadoop（hdfs）是RDMS（关系型数据库）之间的桥梁，主要的作用就是在hdfs和rdms之间导入导出数据     flume：文件库收集框架（主要收集业务系统的操作日志）     oozie：任务调度框架（主要用来执行有规律的

[root@slave Hadoop]# cd Hive-1.2.1/bin/ [root@slave bin]# ./hive 17/02/20 19:33:00 WARN conf.HiveConf: HiveConf of name hive.metastore.local does not exist Logging initialized using configuration

用户行为路径 （一） 数据清洗 采用hive编写hql代码实现: 代码如下： USE src_dat_zuma; DROP TABLE 20170329_log_tycx; CREATE TABLE IF NOT EXISTS 20170329_log_tycx ( SERVER_DT       string, SP_CD                string,

环境：windwos 10（1511） 64bit、mysql 5.7.14 时间：2016年9月5日 一、下载mysql 1. 在浏览器里打开mysql的官网http://www.mysql.com/ 2. 进入页面顶部的"Downloads" 3. 打开页面底部的“Community(GPL) Downloads”