Null的博客

首先说一下数据分类 结构化数据,例如数据库中的数据,有严格的约束 半结构化数据,例如日志数据,是文件中的数据,数据间有\t或其他符号做分割 非结构化数据,例如音频,视频等二进制文件 数据库 数据仓库 和数据湖的区别 数据库存储的是上边的结构化数据 数据仓库存储的是上边对应的半结构化数据 数据湖存储的是对应上边的非结构化数据 ...

第一：修改 hadoop 集群的 hdfs-site.xml 配置文件：加入一条配置信息，表示启用 webhdfscd /home/hadoop/apps/hadoop-2.7.5/etc/hadoop<property>      <name>dfs.webhdfs.enabled</name>      <value>true</value...

第一题：现有这么一批数据，现要求出： 每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数 三个字段的意思： 用户名，月份，访问次数 A,2015-01,5 A,2015-01,15 B,2015-01,5 A,2015-01,8 B,2015-01,25 A,2015-01,5 A,2015-02,4 A,2015-02,6 ...

1.安装前的准备：    首先需要搭建好hadoop集群并启动（需要启动hdfs和yarn）    mysql启动正常2.hive的安装    方式一（不推荐）：内嵌 Derby 版本    1、 上传安装包 apache-hive-2.3.2-bin.tar.gz    2、 解压安装包 tar -zxvf apache-hive-2.3.2-bin.tar.gz -C /home/hadoop...

1、 创建库：create database if not exists mydb;        创建库的时候带注释            create database if not exists dbname comment 'create my db named dbname';        创建带属性的库            create database if not exists...

1，Hive分区。      是指按照数据表的某列或某些列分为多个区，区从形式上可以理解为文件夹，比如我们要收集某个大型网站的日志数据，一个网站每天的日志数据存在同一张表上，由于每天会生成大量的日志，导致数据表的内容巨大，在查询时进行全表扫描耗费的资源非常多。那其实这个情况下，我们可以按照日期对数据表进行分区，不同日期的数据存放在不同的分区，在查询时只要指定分区字段的值就可以直接从该分区查找。 ...

1） EXISTS （）括号里只要有返回值就会执行 EXISTS 之前的语句2） select 1 的问题3）

1.首先把hive下的指定jar复制到hbase的lib下scp $HIVE_HOME/lib/hive-hbase-handler-1.1.0-cdh5.4.0.jar $HBASE_HOME/lib/2. 把hbase下的所有jar复制到hive的lib下scp $HBASE_HOME/lib/*.jar $HIVE_HOME/lib/...