
hadoop
BedrockOfAI
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop生态系统
首先我们先了解一下Hadoop的起源。然后介绍一些关于Hadoop生态系统中的具体工具的使用方法。如:HDFS、MapReduce、Yarn、Zookeeper、Hive、HBase、Oozie、Mahout、Pig、Flume、Sqoop。Hadoop的起源Doug Cutting是Hadoop之父 ,起初他开创了一个开源软件Lucene(用Java语言编写,提供了全文检索引擎的架构,与Goog...转载 2018-07-12 11:26:27 · 218 阅读 · 0 评论 -
Win7(64)+Eclipse+Hadoop2.6.4开发环境搭建-
Hadoop开发环境搭建一、软件准备JDK:jdk-7u80-windows-x64.exehttp://www.oracle.com/technetwork/java/javase/archive-139210.htmlEclipse:eclipse-jee-mars-2-win32-x86_64.ziphttp://www.eclipse.org/downloads/Hadoop:hadoop...转载 2018-07-06 15:41:35 · 308 阅读 · 0 评论 -
winutils.exe 2.6下载地址
https://github.com/sdravida/hadoop2.6_Win_x64转载 2018-07-06 15:44:56 · 4207 阅读 · 0 评论 -
Flume实战采集文件内容存入HDFS
1、flume安装目录下新建文件夹 example 2、在example下新建文件 log-hdfs.conf内容如下:# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1 #exec 指的是命令# Describe/configure the sourcea1....转载 2018-07-24 18:24:20 · 3217 阅读 · 0 评论 -
IDEA搭建maven项目详细步骤(解决没有src及其下面的文件)
准备工作Itellij IDEA 17版官网下载 maven包 推荐3.3.9版本点击下载步骤A. 在maven包中设置本地仓库位置 1.解压apache-maven-3.3.9.zip 2.打开conf文件夹下的settings.xml文件(最好用代码编辑工具打开)推荐sublime Text3 3.在本地建一个文件夹当做maven本地仓库,将图中红框内路径改为你自己新建...转载 2018-08-01 17:53:58 · 16946 阅读 · 6 评论 -
基于idea搭建Hadoop源码阅读环境
Hadoop源码是这么做,其他源码环境也类似。1、到官网下载Hadoop源码包,例如hadoop-2.6.5-src.tar.gz.https://www-eu.apache.org/dist/hadoop/common/hadoop-2.6.5/2、将下载的源码包解压到某个目录下,记住这个目录,后面导入Idea时需要这个目录。3、打开Idea,点击Import Pro...转载 2019-01-07 17:26:00 · 1513 阅读 · 0 评论