Brucexyao的博客

一、启动maven二、maven工程基础设置1、第一个修改的地方2、第二个修改的地方3、第三个修改的地方4、配置pom.xmlpom.xml三、创建结构四、java内容1、UserMapperpackage cn.kgc.smmvc.biz.mapper;import cn.kgc.smmvc.entity.UserCond;import cn.kgc.smmvc.entity.UserInfo;import org.apache.ibatis.annot

MapReduce——MR的执行流程（五次IO）一个完整的mapreduce程序在分布式运行时有三类实例进程：MRAppMaster：负责整个程序的过程调度及状态协调mapTask：负责map阶段的整个数据处理流程（maptask的数量是不能设置的，reducetask可以自己设置job.setNumReduceTasks(5);）ReduceTask：负责reduce阶段的整个数据处理流程对于MR的执行流程，我是通过其过程中的五次IO来记忆的，详细解释如下(最后有流程详图)：

zeppelin安装配置安装前提：在安装zeppelin前要保证你的hadoop和hive是开着的噢，这很重要！！！第一步将下载的压缩包放入/opt/download/hadoop目录下面(我是放在这边的，大家可以自己任意选择)cd /opt/download/hadoopls然后直接拖就行了第二步1、解压解压压缩包至/opt/software目录下面（这边我下的是zeppelin-0.8.2-bin-all.tgz）tar -zxvf /opt/download/hadoop/zep

大数据入门简介（一）首先我们先想想为什么会大数据，或者说它能干什么？与常规数据比较，大数据体现在什么地方？大数据大数据，关键是什么，大！！！就是这么浅显，大，什么大，数据大呗。下面我们就围绕这个大好好谈谈这个大数据。一、概念（三无、俩海）1、大数据是指无法通过常规软件等工具对数据内容进行抓取、管狸和处理的数据集合（三无）。2、大数据主要解决（俩海）：海量的数据存储和海量的数据计算问题。二、特性（四V俩固）四大特性(4V)：​ Volume：大数据量。大多是过去俩年产生的数据​ Veloci

org.apache.hadoop.hive.metastore.HiveMetaException: Unknown version specified for initialization: 3.1.0我的是联想拯救者，hive找不到3.1.0的版本，无奈之下只能去降版本了，然而当我把apache_hive-2.3.8-bin.tar.gz下载后， 更恶心的是我还需要把hadooop版本也换了!!！下载后，然后把这俩个压缩包直接拖到/opt/download/hadoop/下面下面是我降版本的

Hadoop详细安装步骤和免密操作第一步：检测/etc/hosts中的主机ip映射[root@wxl138 ~]# hostnamewxl138[root@wxl138 ~]# ip addr1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000 link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00