hadoop注意事项

最新推荐文章于 2023-09-16 10:20:32 发布

寂寞烟

最新推荐文章于 2023-09-16 10:20:32 发布

阅读量782

点赞数

CC 4.0 BY-SA版权

分类专栏：总结文章标签： hadoop注意事项

本文链接：https://blog.youkuaiyun.com/lijianhua_showit/article/details/24041315

总结专栏收录该内容

1 篇文章

订阅专栏

本文档提供了Hadoop与Hive集群部署的详细步骤，包括/etc/hosts配置、静态IP设置、防火墙注意事项等。同时介绍了如何使用Eclipse编写并测试MapReduce程序，以及通过命令行启动Hive服务的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、 /etc/hosts 里面的各主机ip配置要和所关联机器系统ifconfig ip地址对应

2、系统最好用静态ip地址

3、部署启动/访问集群的时候要注意防火墙是否关闭

4、/opt/hive/bin/hive --service hiveserver -p 1043 --hiveconf javax.jdo.option.ConnectionURL=jdbc:mysql://hd194:3306/dp_meta
(hive --service hiveserver为启动hive服务 hive为启动命令行) 修改hive属性的值

5、一台服务器可以开启多个hive 只要 -p 端口号不同

6、用eclipse编写mapreduce程序时，可以先在本地测试，input文件、out文件夹可以用本地的路径作为参数。如果在windows下的eclipse编写需要计算机名为hadoop不然会报权限不足的错误。

7、在经验不足的情况下编写mapreduce可以先用一个可以跑通的mapreduce程序（例如wordcount.java）再在其上面进行拓展。

8、可以把hbase的数据直接动态插入到hive只需在创建hive表时指向hive的数据来源

9、hadoop运行jar 打包为Runnable JAR file :hadoop jar /usr/hadoop20140111/mywordcount1.jar hdfs://hadoop2/test/hadoop/wordcount hdfs://hadoop2/test/hadoop/0003

/usr/hadoop20140111/mywordcount1.jar为本地路径。

10、hadoop运行jar 打包为JAR file:hadoop jar /usr/hadoop20140111/fix.jar WordCount hdfs://hadoop2/test/hadoop/wordcount hdfs://hadoop2/test/hadoop/00048