
大数据处理技术
LiuHuan_study
开心学习
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop自己编写程序WordCount.java 手动编译程序
假设:Hadoop已安装好。Hadoop安装步骤:https://blog.youkuaiyun.com/LiuHuan_study/article/details/84347262第一步:配置环境变量export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64/export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:$...原创 2018-11-23 21:06:46 · 1703 阅读 · 0 评论 -
Hadoop 和 Hbase 的安装与配置 (单机模式)
下载Hadoop安装包这里安装版本:hadoop-1.0.4.tar.gz第一步:在安装Hadoop之前,服务器上一定要安装的jdkjdk安装:方法一:在官网上下载Linux下的rpm安装包:jdk-8u181-linux-x64.rpm通过Xshell将安装包上传到服务器:(可在Xshell使用rz命令)安装命令rpm -ivh jdk-8u181-linux-x6...原创 2018-11-22 19:27:56 · 3690 阅读 · 0 评论 -
Map和Reducer学习笔记
第一部分:在编写Map函数是,需要实现下边父类,重写父类的一些方法#Context类,提供与Hadoop框架通信的各种机制,class Mapper<K1, V1, K2, V2>{ void map(K1 key, V1 value Mapper.Context context) throws IOException, Inter...原创 2019-03-10 17:07:00 · 322 阅读 · 0 评论 -
CentOS 下安装R和Rstudio
方法一:yum安装R在centos 7下安装R软件可以使用两种方式:源码编译安装和Yum在线安装。而R的官网上已经说明了,R已经被EPEL仓库管理着,EPEL是一个汇集了各种附加软件包的项目,所以我们使用yum来安装1 通过如下命令安装并启用 EPEL (如果已经安装过,直接执行第二步)yum install epel-release2 使用如下命令安装Ryum install ...转载 2019-03-15 09:23:47 · 5546 阅读 · 0 评论 -
rHadoop分布式安装与配置
非常建议大家找以下两个文档看一下:RHadoop2.0.2u2_Installation_Configuration_for_RedHat.pdfMicrosoft Word - RHadoop and MapR v2.0.pdfrhadoop包含下边三个包:rhdfs、rmr2、rhbase下载链接:https://github.com/RevolutionAnalytics/R...转载 2019-04-01 16:54:20 · 1075 阅读 · 0 评论