你宝爷的博客

Hive（三、2）案例之京东店铺访问指标一、前期准备1.0、打开集群&服务&客户端#1）注释掉配置文件内容，这样就不用开启metastore服务啦 vim $HIVE_HOME/conf/hive-site.xml #注释掉如下内容 <!-- <property> <name>hive.metastore.uris</name> <value>thrift://hadoop

Hive（三、1）案例之蚂蚁森林一、前期准备1.0、打开集群&服务&客户端#1）注释掉配置文件内容，这样就不用开启metastore服务啦 vim $HIVE_HOME/conf/hive-site.xml #注释掉如下内容 <!-- <property> <name>hive.metastore.uris</name> <value>thrift://hadoop11:9

Hive（三）案例之视频网站常规指标@你宝爷一、前期准备1.0、打开集群&服务&客户端#1）注释掉配置文件内容，这样就不用开启metastore服务啦 vim $HIVE_HOME/conf/hive-site.xml #注释掉如下内容 <!-- <property> <name>hive.metastore.uris</name> <value>thrift://hado

Hive（二）基础命令@你宝爷一、常用交互命令#beeline jdbc 启动客户端，可多线程访问，hive不可以$HIVE_HOME/bin/beeline -u jdbc:hive2://hadoop11:10000 -n hduser#启动hive 客户端hive#查看选项信息$HIVE_HOME/bin/hive -help#“-e”不进入hive的交互窗口执行sql语句$HIVE_HOME/bin/hive -e "select * from tableName"#“-f”执行

Hive（一）安装&配置@你宝爷一、环境搭建1.1、MySql安装#检查本机是否安装过MySqlrpm -qa|grep mariadb#用此命令卸载mariadbsudo rpm -e --nodeps mariadb-libs #依次安装如下安装包sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpmsudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64

MapRedues（一） 概要&编程入门@你宝爷一、概述1.1、基本概念MapReduce是一个基于Hadoop集群的分布式计算编程框架，用户通过编写业务逻辑代码和自带默认组件结合成一个MR程序，程序提交任务给Hadoop集群或放在Hadoop集群上并发执行。1.2、缺点1.2.1、不适合流式计算流式计算的输入数据是动态的，而MapReduce的输入数据集是静态的，不能动态变化。这是因为MapReduce自身的设计特点决定了数据源必须是静态的。1.2.2、不适合DAG有向图计算多个应

Hadoop集群搭建一、前期准备机器名IPhadoop11192.168.1.11hadoop12192.168.1.12hadoop13192.168.1.131.使用VMvare新建hadoop111）新建虚拟机，选择光盘映像文件位置2）选择系统为linux，Cent OS73）设置虚拟机名称为hadoop11，选择存储位置，注意：路径最后一层起名hadoop11，方便系统管理4）设置磁盘大小为40G5）编辑虚拟机设置，配置内存和处理器，

HDFS之增删改查操作零、启动集群，Web查看hdfs系统1.搭建过程：https://blog.youkuaiyun.com/qq_31316733/article/details/108386424hadoop11192.168.1.11hadoop12192.168.1.12hadoop13192.168.1.13hadoop11hadoop12hadoop13HDFSNameNode DataNodeDataNodeSecondaryNa