
大数据处理技术
LiuHuan_study
开心学习
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop自己编写程序WordCount.java 手动编译程序
假设:Hadoop已安装好。Hadoop安装步骤:https://blog.youkuaiyun.com/LiuHuan_study/article/details/84347262 第一步:配置环境变量 export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64/ export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:$...原创 2018-11-23 21:06:46 · 1703 阅读 · 0 评论 -
Hadoop 和 Hbase 的安装与配置 (单机模式)
下载Hadoop安装包 这里安装版本:hadoop-1.0.4.tar.gz 第一步:在安装Hadoop之前,服务器上一定要安装的jdk jdk安装: 方法一: 在官网上下载Linux下的rpm安装包:jdk-8u181-linux-x64.rpm 通过Xshell将安装包上传到服务器:(可在Xshell使用rz命令) 安装命令rpm -ivh jdk-8u181-linux-x6...原创 2018-11-22 19:27:56 · 3690 阅读 · 0 评论 -
Map和Reducer学习笔记
第一部分: 在编写Map函数是,需要实现下边父类,重写父类的一些方法 #Context类,提供与Hadoop框架通信的各种机制, class Mapper<K1, V1, K2, V2> { void map(K1 key, V1 value Mapper.Context context) throws IOException, Inter...原创 2019-03-10 17:07:00 · 322 阅读 · 0 评论 -
CentOS 下安装R和Rstudio
方法一:yum安装R 在centos 7下安装R软件可以使用两种方式:源码编译安装和Yum在线安装。而R的官网上已经说明了,R已经被EPEL仓库管理着,EPEL是一个汇集了各种附加软件包的项目,所以我们使用yum来安装 1 通过如下命令安装并启用 EPEL (如果已经安装过,直接执行第二步) yum install epel-release 2 使用如下命令安装R yum install ...转载 2019-03-15 09:23:47 · 5546 阅读 · 0 评论 -
rHadoop分布式安装与配置
非常建议大家找以下两个文档看一下: RHadoop2.0.2u2_Installation_Configuration_for_RedHat.pdf Microsoft Word - RHadoop and MapR v2.0.pdf rhadoop包含下边三个包:rhdfs、rmr2、rhbase 下载链接:https://github.com/RevolutionAnalytics/R...转载 2019-04-01 16:54:20 · 1075 阅读 · 0 评论