Mr_qing的博客

一、案例说明现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072，共有6040条数据对应字段为：UserID BigInt, Gender String, Age Int, Occupation String, Zipcode String对应字段中文解释：用户id，性别，年龄，职业，邮政编码2、movies.dat 数据格式为： 2::Jumanji (1995)::Adventure|Children’s|Fantasy，共有3883条数据对应字

一、准备工作1、启动hadoop集群[root@hadoop129 hadoop-2.5.0-cdh5.3.6]# start-dfs.sh2、启动hive[root@hadoop129 hive-0.13.1-cdh5.3.6]# hive3、创建数据库表create database text01;create database if not exists text02;...

1. 前言前面三篇讲述了安装MySQL和Hive以及Hive的配置和存储，并通过Shell成功登录了Hive，接下来就可以创建Hive表进行数据操作了。Hive是一个数据仓库，它可以将结构化的数据文件映射为一张数据库表，并具有SQL语言的查询功能，这里需要再次强调的是对于数据仓库来说，往往存放的是历史数据，他的作用是完成数据的查询分析，而不是完成单条记录的增加、修改和删除操作。Hive表的创...

1. 前言Hive是建立在Hadoop上的数据仓库基础架构。它提供了一系列的工具，用来进行数据（ETL）提取、转化、加载。这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL语言（HQL），它允许熟悉SQL操作的用户查询数据。作为一个数据仓库，Hive的数据管理按照使用层次可以从元数据存储、数据存储和数据交换三个方面来说。2. 元数据存储Hive将...

1. Hive的基本安装1.1 下载Hive的下载地址：点这里下载1.2 上传解压在Hadoop用户状态下，将Hive的安装文件拷贝到安装目录下并解压。1.3 配置Hive的环境变量配置Hive的环境变量时，需要root用户配置，所以首先切换到root用户下：vi /etc/profile让变量生效source /etc/profile在[root@hadoop12...

1. 前言前面讲了很多关于集群搭建、以及HDFS和MapReduce的基本操作，接下来终于能学习新的内容了。。Hive本身是数据仓库，那么什么是数据仓库呢？数据仓库是为了协助分析报告，支持决策，为需要业务智能的企业提供业务流程的改进和指导，从而节省时间和成本，提高质量。它与数据库系统的区别是，数据库系统可以很好的解决事务处理，实现对数据的“增删改查”操作，而数据仓库则是用来查询分析的数据库...