qq_41369191的博客

集成HDFS 注意修改完HDFS相关配置后，需要把配置scp给集群中每台机器，重启hdfs集群。 修改hadoop中core-site.xml配置： cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/ vi ./core-site.xml <!-- 允许通过httpfs方式访问hdfs的主机名 -->...

Fetch抓取（Hive可以避免进行MapReduce） 介绍： Hive中对某些情况的查询可以不必使用MapReduce计算。例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台 在hive-default.xml.template文件中hive.fetch.task.conversion默认...

介绍 1.Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。 2.当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 3.根据用户自定义函数类别分为以下三种： UDF（User-Defined-Function）（常用） 一进一出 UDAF（User-D...

如下的用户访问数据 userId visitDate visitCount u01 2017/1/21 5 u02 2017/1/23 6 u03 2017/1/22 8 u04 2017/1/20 3 u01 2017/1/23 6 u01 2017/2/21 8 U02 2017/1/23 6 U01 2017/2/22 4 要求使用SQ...

添加数据 普通表添加数据 格式： insert into 表名 values(数据1,数据2,数据3); 例： insert into stu values("1","2",3); 分区表添加数据 格式： insert into 表名 partition(分区字段='分区值') values(数据1,数据2,数据3); 例： insert into stu partition(m...

介绍 SQL Join联接子句用于在两个或更多在数据库中的表的记录组合。JOIN是通过使用从两个表字段共通的值组合连接起来。MySQL官方只提供了三种join方式，内连接、左连接和右连接，不支持其他的连接关键字。但是可以通过一定的语法将达到其他的连接的效果。 1.内连接 inner join 最频繁使用的和重要的联接是INNER JOIN。它也被称为一个等值连接。 INNER JOIN通过结...

介绍 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能（HQL）。 其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储，hive可以理解为一个将SQL转换为MapReduce的任务的工具 使用Hive的原因 直接使用hadoop所面临的问题 1.人员学习成本太高 2.项目周期要求太短 3.Map...

介绍 多个节点安装hive后，多个hive共享的元数据，大家的库、表统一。 1.解压hive 使用lrzsz上传hive压缩包 将hive解压到指定路径 查看解压后的文件 2.mysql数据库的安装 在线安装mysql相关的软件包 yum install mysql mysql-server mysql-devel 启动mysql的服务 service mysqld st...