qigemantou的博客

首先你得有个虚拟机，并且安装好了任意的linux系统 本文讲解的是在CentOS下的安装 废话不多说，我们先来----------------------------安装虚拟机 首先在VMware主页面点击创建新的虚拟机然后进入 选择一个典型点击下一步点击稍后安装操作系统， 点击下一步，在这里插入图片描述这时候客户机操作系统选择Linux版本号选择你所要安装的CentOS的版本，我这里选择...

HDFS伪分布式搭建步骤 1、上传文件 xshell 使用命令rz-----yum install lrzsz -y 2、解压 tar -zxvf jdk... 3、配置环境变量 vim /etc/profile 进入，找到export开头的地方加入下面代码 export JAVA_HOME=/opt/software/jdk1.8.0_1...

WordCount中，统计单词数量1.创建一个MapReduce项目2.导入相应的jar3.新建一个包，包下直接创建Mapper类4.创建Reduce类5.创建一个普通类，用于提交任务，此时，项目里面有 *三个线程*6.因为权限问题，这里导入了一个包，直接沾到项目src目录下，如果jar包需要请在评论区联系7.因为项目里面的东西都是自动生成，对于一些方面我做了稍加修改，下面是我的代码，仅供参考...

首先介绍下hive的概念            hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduc...

文章目录首先------启动 Hadoop 集群其次------处于hadoop的bin目录下面0.help1.ls2.lsr3.mkdir4.-moveFromLocal5.-appendToFile6.mv7.cat8.chgrp9.chown10.chmod11.copyFromLocal | put12.copyToLocal | get13.cp14.du15.dus16.expunge...

文章目录1.input(输入) --- 给定一个文档，其中有这样几行数据2.split(切片) --- 将给定的文档按行切分成key-value键值对3.map(映射) --- 将拆分之后的键值对转换成新的key-value键值对(这里用空格间隔，所以拆分的时候也用空格)，4.shuffle(派发) --- 将相同的key放到一起5.缩减(reduce) --- 把相同key的value加到一起6...

1.关闭防火墙，下面是一个节点的配置，需要几个配几个 2.上传zookeepr包 rz 3.解压： tar -zxvf zookeeper-3.4.6.tar.gz /opt/ 4.切换到zookeerper目录 cd /opt/zookeeper-3.4.6 5.建立数据目录 mkdir data 并且配置节点 id echo 1 > myid(有几个节点配置几个 echo n > ...

今天来更新一个错误，是flume消息发送到kafka时候出现的 出现这个错误的是因为flume版本的与conf配置文件语句的不兼容导致的 查看flume版本号很简单 ...