
大数据分析
文章平均质量分 81
antgan
因为简单,所有快乐
展开
-
教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)
刚入门hadoop,开发环境的搭建估计能把一部分人逼走。我也差点疯了。 估计能看到这篇文章的小伙伴们都饱受cygwin和各种配置文件的折磨了吧?如果你不想在linux上搭建,又不想安装cygwin。那就继续往下看啦~步骤: 1. JDK安装(不会的戳这) 2. 下载hadoop2.5.2.tar.gz,或者自行去百度下载。 3. 下载hadooponwindows-master.zip【**原创 2016-07-29 17:56:01 · 42142 阅读 · 53 评论 -
Eclipse搭建hadoop开发环境[hadoop-eclipse-plugin-2.5.2]
上一篇,展示了一个简单的WordCount程序,但是总是使用命令行来操作有些繁琐。 接下来将分享如何使用Eclipse来搭建hadoop开发环境。开发环境: 系统:window7 IDE:Eclipse Java EE IDE for Web Developers【Version: Juno Service Release 2】 Hadoop版本:hadoop2.5.2准备工作原创 2016-07-29 19:53:26 · 15549 阅读 · 19 评论 -
hadoop简单实例-WordCount
开发环境:window7 如果不知道怎么在window环境下安装hadoop,请参考教你Windows平台安装配置Hadoop2.5.2(不借助cygwin)本实例先贴源代码,再讲解步骤。 代码如下:package test;import java.io.IOException;import java.util.StringTokenizer;import org.apache.had原创 2016-07-29 19:15:04 · 9259 阅读 · 0 评论 -
Flume-ng在windows环境搭建并测试+log4j日志通过Flume输出到HDFS
首先,去Flume官网下载最新的版本 这里我使用的是apache-flume-1.6.0-bin.tar.gz 开发环境 系统:window7 Jdk:1.7 Flume:1.6.0 Hadoop:2.5.2一、下载flume并解压安装配置下载解压到你想要的目录 配置环境变量 新建FLUME_HOME变量,填写flume安装目录,如图 然后编辑系统变原创 2016-08-01 18:03:34 · 5029 阅读 · 0 评论 -
初探Spark-使用大数据分析2000W行数据
初学spark和scala,做些小分析练习,学习资料可以看看这里如何搭建scala环境和spark环境我就不说了,网上一堆堆的。开发环境scala version:2.11.2 spark version:spark-2.0.0-bin-hadoop2.4Eclipse:4.4.2 Juno Service Release 2本次实例是单机运行的,步骤如下: 1. 模拟2000W人口数据原创 2016-08-12 14:54:14 · 1770 阅读 · 0 评论