
hadoop
文章平均质量分 88
菜鸟阿都
自己学习软件时感觉思路有点混乱,所以写写博客整理一下思路。也可以和大家分享一下,
个人微信公众号:菜鸟阿都,欢迎一起交流学习
展开
-
hadoop配置与安装
一,新增用户sudo useradd -m hadoop -s /bin/bash 添加密码sudo passwd hadoop 附加权限sudo adduser hadoop sudo 切换到hadoop用户下,当运行sudo命令时出现:hadoop不再sudoers文件中,此事将被报告。 解决方法:切换到root用户下,打开 /etc/sudoers 文件...原创 2018-04-22 20:16:40 · 423 阅读 · 0 评论 -
hadoop开发第一步
使用idea开发第一个hadoop程序:WordCount一,打开idea,建立maven程序二,添加基础依赖(pom.xml)maven依赖版本查询网址:https://mvnrepository.com/<dependencies> <dependency> <groupId>org.apache.hadoop</groupId...原创 2018-04-23 10:43:49 · 339 阅读 · 0 评论 -
hadoop开发第五步之hive
hive的配置与使用简介:Hive是基于hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数...原创 2018-05-01 16:37:16 · 351 阅读 · 0 评论 -
hadoop开发第二步
伪分布式运行wordcounthadoop安装文件在/home/hadoop下wordcount例子在hadoop/share/hadoop/mapreduce/下可在localhost:50070查询在.bashrc文件中配置了环境变量后,可以直接在/home/hadoop路径下运行下列命令...原创 2018-04-25 10:09:37 · 263 阅读 · 0 评论 -
hadoop开发第三步之HDFS
在hdfs上操作: 备注:每次打开hdfs与yarn前需要将namenode格式化,否则namenode将不会开启 即:hadoop namenode -format #先格式化,中间有时需要同意某个东西,即y同意start-yarn.sh #start-all.sh 不推荐使用,但也可以用start-dfs.sh使用jps可以查看namenode和datano...原创 2018-04-28 23:36:02 · 226 阅读 · 0 评论 -
hadoop开发第四步之Hbase
Hbase的安装与使用一,下载Hbase安装包并解压: http://apache.fayea.com/hbase/二,配置Hbase(hbase-env.sh 和 hbase-site.xml) 取消hbase-env.sh中 expore jav...原创 2018-04-29 13:04:27 · 312 阅读 · 0 评论