Hadoop生态
文章平均质量分 57
根据个人搭建Hadoop生态系统经历,记录搭建过程以及遇到的问题,便于大家参考。
strawcherry_wj
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【Hadoop】解决Hadoop Unable to load native-hadoop library问题
1、启动Hadoop提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable在/etc/profile中添加export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/hadoop/hadoop-2.9.2/lib/native/"参考链接https:原创 2021-09-02 14:33:54 · 9471 阅读 · 0 评论 -
【Hadoop】hadoop-eclipse-plugins插件安装和配置
1.安装eclipse2.hadoop-eclipse-plugins插件安装下载插件百度云:链接: https://pan.baidu.com/s/1bhdNgOOlsixT9OchEhijnw 密码: vvr7将插件移动到eclipse安装目录的dropins文件夹下打开eclipse(eclipse文件夹下命令行输入 ./eclipse;若配置了快捷方式直接打开即可)Windows→show view→other→MapReduce配置locationcreate project原创 2021-07-26 21:40:50 · 6999 阅读 · 2 评论 -
【MapReduce】命令行编译打包MapReduce程序详细过程及错误解决
1.在eclipse中将Java程序打包成jar包出现错误,是因为hadoop文件夹没有写入权限,可以修改jar file的保存路径,先保存在另一个地方,然后移动到hadoop文件夹中(其实是否放在hadoop文件夹中好像没啥影响)。2. 在命令行运行jar包报错1:执行Wordcount.jar时出现找不到主类是因为WordCount类的地址不精确,前面要加包名hadoop jar /usr/hadoop/hadoop-2.7.3/WordCount.jar book.WordCount原创 2021-07-25 17:36:14 · 1252 阅读 · 0 评论 -
【HBase】eclipse提示缺少hbase相关jar包的解决方法
在eclipse中的hbase工程中右击→properties→java build path→libraries→add external jars→把hbase/lib中有关hbase的jar包add进去,问题解决。原创 2021-07-25 15:36:50 · 603 阅读 · 0 评论 -
【HBase】centos7完全分布式hbase配置
创建工作路径,并将HBase解压到该路径中mkdir /usr/hbasetar -zxvf /opt/soft/hbase-1.2.4-bin.tar.gz -C /usr/hbase修改配置文件conf/HBase-env.shcd /usr/hbase/hbase-1.2.4/confcp hbase-env.sh.template hbase-env.shvi hbase-env.sh添加如下内容:export HBASE_MANAGES_ZK=falseexport JAVA_.原创 2021-07-25 11:30:31 · 247 阅读 · 0 评论 -
【ZooKeeper】解决zookeeper集群启动状态出现Error contacting service. It is probably not running.问题
可能原因1:只在master节点启动了zookeeper。解决办法1:先在master节点启动zookeeper,然后在从节点(slave1、slave2)启动zookeeper。用zkServer.sh status查看启动状态,这时候master是leader,其他为follower。可能原因2:防火墙开启。解决办法2:systemctl stop firewalld #关闭防火墙systemctl status firewalld #查看防火墙状原创 2021-07-25 11:16:50 · 538 阅读 · 0 评论 -
【Hadoop】Centos7中完全分布式hadoop-2.7.3集群的安装与配置
一、安装操作系统并配置IP在VMware虚拟机中安装三台Centos,分别作为Master,Slave1,Slave2,并配置root用户。配置三台机器的静态IP地址,本次示例IP分别为:Master: 192.168.157.128Slave1: 192.168.157.129Slave2: 192.168.157.130(关于设置静态ip连不上网的问题,https://blog.youkuaiyun.com/tearofthemyth/article/details/112800999 Mac VMw原创 2021-07-24 11:05:06 · 1194 阅读 · 1 评论
分享