
Hadoop
ABU_MOlI_ITUI
这个作者很懒,什么都没留下…
展开
-
Flume监控之Ganglia
Flume监控之Ganglia:1 Ganglia的安装与部署1) 安装httpd服务与php# yum -y install httpd php已安装:httpd.x86_64 0:2.4.6-89.el7.centos.1 php.x86_64 0:5.4.16-46.el7 作为依赖被安装:apr.x86_64 0:1.4.8-3.el7_4.1 apr-util....原创 2020-03-14 08:48:35 · 5275 阅读 · 0 评论 -
WordCount案例实操--打包到集群上运行
WordCount案例实操--打包到集群上运行1.点击idea中2.复制mapreduce-1.0-SNAPSHOT.jar到桌面3,.将jar包改名,然后拖入虚拟机里4,查看jar包5,拷贝路径WcDriver(com.zpark.wordcount.WcDriver)6,在CRT中[root@hdp-1 ~]# cd apps[root@hdp-1 ...原创 2020-02-01 19:36:38 · 5616 阅读 · 0 评论 -
WordCount案例实操中出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z问题解决方案
WordCount案例实操中出现org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z问题解决方案方案一:hadoop缺少文件将hadoop.dll、winutils.exe文件拖到hadoop的bin目录下方案二:修改源码NativeIO.java直接看这个吧,我...原创 2020-02-01 18:53:23 · 5309 阅读 · 0 评论 -
day_04小笔记-----WordCount案例实操
WordCount案例实操1.需求在给定的文本文件中统计输出每一个单词出现的总次数(1)输入数据需要在D盘新建一个文档input,中放入hello.txthello.txt中数据atguigu atguiguss sscls clsjiaobanzhangxuehadoop(2)期望输出数据atguigu 2banzhang 1cls 2...原创 2020-02-01 18:45:35 · 5417 阅读 · 0 评论 -
day_03小笔记----HDFS的API操作
HDFS的API操作1.准备工作:启动集群:start-all.sh登录http://hdp-1:50070/2.在idea里从hdfs下载文件到本地磁盘package com.zpark.hdfs;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;im...原创 2020-01-29 17:37:33 · 5311 阅读 · 0 评论 -
day02_小笔记---HDFS的API操作
HDFS的API操作:1.首先在idea里创建一个Maven工程HdfsClientDemo2.导入相应的依赖坐标+日志添加(pom.xml)<dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactI...原创 2020-01-28 20:01:14 · 5212 阅读 · 0 评论 -
day_01小笔记----本地运行Hadoop 案例、伪分布式运行Hadoop 案例
0、hadoop1.x和hadoop2.x区别Hadoop1.x的核心组件 与Hadoop2.x核心组件不一样Hadoop1.x:hdfs、common、mapreduce(mapreduce同时处理业务逻辑 运算和资源调度、耦合性较大)Hadoop2.x:hdfs、yarn、common、mapreduce(增加yarn、yarn只负责资源的调度、mapreduce只负责运算)1、概...原创 2020-01-20 09:34:20 · 5356 阅读 · 0 评论 -
官方WordCount案例以及自己的实际操作
官方WordCount案例:1. 创建在hadoop-2.7.2文件下面创建一个wcinput文件夹[atguigu@hadoop101 hadoop-2.7.2]$ mkdir wcinput2. 在wcinput文件下创建一个wc.input文件[atguigu@hadoop101 hadoop-2.7.2]$ cd wcinput[atguigu@hadoop101 wc...原创 2020-01-19 19:10:23 · 6148 阅读 · 0 评论 -
Lucene
什么是LuceneLucene是一套用于全文检索和搜寻的开源程序库,由Apache软件基金会支持和提供Lucene提供了一个简单却强大的应用程序接口(API),能够做全文索引和搜寻,在Java开发环境里Lucene是一个成熟的免费开放源代码工具Lucene并不是现成的搜索引擎产品,但可以用来制作搜索引擎产品官网:http://lucene.apache.org/用idea写代码创...原创 2019-10-28 18:30:48 · 6012 阅读 · 0 评论 -
Redis安装
Redis安装只是解压地址不一样方法一:将 redis-4.0.10.tar.gz(alt+p) 拖入Linux在apps解压 :tar -zxvf redis-4.0.10.tar.gz -C appscd /apps/redis-4.0.10makemake installredis部署1.mkdir -p /apps/redis/bin2.cd /apps/redis...原创 2019-10-25 11:05:42 · 5412 阅读 · 0 评论