bingque6535的博客

1. 什么是Hive Hive：由Facebook开源用于解决海量结构化日志的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将HQL转化成MapReduce程序 2. Hive的优缺点 1. 优点 操作接口采用类SQL语法，提供快速开发的能力（简单、容易上手）。 避免了去写MapReduce，减少开发人员的学习成本。 Hive的执行延迟比较高，因此Hive常用于数据分析，对实时性要求不高的场合。 Hive优势在于处理大数据，

一. 安装MySQL node01作为数据库，安装mysql 安装MySQL yum install mysql-server 启动mysql service mysqld start 修改权限 mysql> show databases; mysql> use mysql mysql> show tables; mysql> desc user; mysql> select host, user, password from user;

一. 基本操作 查看库列表 show databases; 创建数据库 create database myhive; 使用库 use myhive; 查询当前正在使用的库 select current_database(); 创建表 > create table student( > id int, > name string, > sex string, > age int, > department string) > row fo

零. 概述 Hive 的元数据信息通常存储在关系型数据库中，常用MySQL数据库作为元数据库管理。 一. 存储Hive版本的元数据表（VERSION） VERSION – 查询版本信息 1. VERSION VER_ID SCHEMA_VERSION VERSION_COMMENT ID主键 Hive版本 版本说明 1 1.2.0 Set by MetaStore 如果该表出现问题，根本进入不了Hive-Cli。 比如该表不存在，当启动Hive-Cli时候，就会报错”Tab

一.内置函数 1. 数学函数 Return Type Name(Signature) Description DOUBLE round(DOUBLE a) 返回对a四舍五入的BIGINT值 DOUBLE round(DOUBLE a, INT d) 返回DOUBLE型d的保留n位小数的DOUBLW型的近似值 BIGINT floor(DOUBLE a) 向下取整 BIGINT ceil(DOUBLE a), ceiling(DOUBLE a) 向上去整 DOUBLE rand

一. case when 函数 1. 语法 --Case函数: --有两种格式： -- 1.简单Case函数。 -- 2.Case搜索函数。 --1.简单Case函数： -- CASE [COLUMN_NAME] -- WHEN ['条件参数'] THEN ['COLUMN_NAME/显示内容'] -- WHEN ['条件参数'] THEN ['COLUMN_NAME/显示内容'] -- ...... -- ELSE ['COL

1. 求单月访问次数和总访问次数 1. 数据说明 字段说明 用户名，月份，访问次数 数据集A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2015-02,6 B,2015-02,10 B,2015-02,5 A,2015-03,16 A,2015-03,22 B,2015-03,23 B,2015-03,10 B,2015-03,1 2. 数据准备 建表 create

1. 案例说明 1. 现有如此三份数据： users.dat 数据格式为： 2::M::56::16::70072， 共有6040条数据 对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String 对应字段中文解释：用户id，性别，年龄，职业，邮政编码 movies.dat 数据格式为： 2::Jumanji (1995)::Adventure|Children’s|Fantasy， 共有3883