Hadoop学习笔记汇总

最新推荐文章于 2021-02-24 21:44:10 发布

xiejava

最新推荐文章于 2021-02-24 21:44:10 发布

阅读量744

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop Parallel Computation 文章标签： hadoop eclipse 集群

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.youkuaiyun.com/xiejava/article/details/6310159

Hadoop 同时被 2 个专栏收录

13 篇文章

订阅专栏

Parallel Computation

8 篇文章

订阅专栏

个人认为初学者最好的中文入门资料。但是这个资料是针对0.18.2版本的，所以对于高版本的用户，有些地方需要注意，安装Hadoop伪分布式模式建议参考此文。
hadoop安装成功后，就可以开始跑一跑系统自带的WordCount实例了，参考此文。
在eclipse环境下配置hadoop环境，运行WordCount实例，参考此文。
hadoop集群配置，参考此文。
大象书：“Hadoop The Definitive Guide“ 学习笔记

博客等级

码龄18年

19
原创

12
点赞

23
收藏

18
粉丝

关注

私信

热门文章

分类专栏

展开全部收起

上一篇：: PostgreSQL允许远程访问设置方法

下一篇：: Hadoop使用问题集锦

最新评论

HadoopDB集群配置方法
Zoin: hive> select name from raw; Total MapReduce jobs = 1 Number of reduce tasks is set to 0 since there's no reduce operator Job Submission failed with exception 'java.lang.NullPointerException(null)' FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.ExecDriver 这种错误楼主有什么思路吗。。
HadoopDB集群配置方法
Zoin: 解决了，我用的hadoop是2.6的，用0.20.2的hadoop就行。。可是为什么最后一步我select没出数据，是空的
HadoopDB集群配置方法
Zoin: 而且在SMS的hive里创建普通表也会报这个错，不知道为啥 zoin@master:~/Desktop/hadoopdb/dist$ bin/hive WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files. Hive history file=/tmp/zoin/hive_job_log_zoin_201812021803_511481248.txt hive> create table rawraw (id int,name string); Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.UserGroupInformation.readFrom(Lorg/apache/hadoop/conf/Configuration;)Lorg/apache/hadoop/security/UserGroupInformation;
HadoopDB集群配置方法
Zoin: at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:258) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.util.RunJar.run(RunJar.java:221) at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
HadoopDB集群配置方法
Zoin: hive> CREATE EXTERNAL TABLE raw ( > ID int, > NAME string > ) > ROW FORMAT DELIMITED > FIELDS TERMINATED BY ' ' > STORED AS > INPUTFORMAT 'edu.yale.cs.hadoopdb.sms.connector.SMSInputFormat' > OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat' > LOCATION '/db/raw'; Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.security.UserGroupInformation.readFrom(Lorg/apache/hadoop/conf/Configuration;)Lorg/apache/hadoop/security/UserGroupInformation; at org.apache.hadoop.hive.conf.HiveConf.getUser(HiveConf.java:400) at org.apache.hadoop.hive.ql.exec.DDLTask.createTable(DDLTask.java:761) at org.apache.hadoop.hive.ql.exec.DDLTask.execute(DDLTask.java:100) at org.apache.hadoop.hive.ql.Driver.execute(Driver.java:335) at org.apache.hadoop.hive.ql.Driver.run(Driver.java:241) at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:122) at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:165

大家在看

最新文章

目录

展开全部

收起

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。