
hadoop学习笔记
幸运的Alina
这个作者很懒,什么都没留下…
展开
-
Hadoop集群能打开50070端口网页不能打开8088端口网页
最近开始搭建Hadoop集群,一开始很顺利,后面慢慢的一步步爬坑,记录下遇到的问题和解决方法。在Hadoop 集群启动后,发现直接访问50070端口的网页没有问题,如图(博主这里还做了端口映射,所以看到的端口和实际端口不同):但是直接访问8088端口就直接找不到 :经过一步步的排查,记录下排查解决的方法:中间排查步骤如下:1. 查看hadoop 启动的进程因为8088...原创 2019-05-10 11:30:28 · 10061 阅读 · 10 评论 -
Centos7下搭建Hadoop-2.8.4分布式集群
由于机器原因,只拿到了三台机器,所以就先搭3台机器,一条机器做Namenode,另外2台做DataNode。Hadoop中的管理节点和数据节点最好分开部署数据节点在实际运行任务时负载是比较重的,很容易影响管理示例的稳定性下面是搭建步骤:1 修改/etc/hosts文件 这里说明下有的是把自己的hostname做了修改,改成啥master ,salver 1,salver2这样...原创 2019-05-10 12:12:11 · 522 阅读 · 0 评论 -
往HBase中导入csv文件的方法
在实际的操作中涉及到将批量的数据插入到HBase中,这样的话如果直接一条一条的通过put来进行插入,就显得尤其吃力了,在这里记录下自己所用到的方法,因为网上的资源很多都是千篇一律,然后需要配合自己的来弄,记录下对自己比较有用,以及在使用的过程中需要注意的地方。创建了一个测试的csv文件,命名为test.csv,数据长这样子首先将本地的csv文件上传到HDFS上去,这里...原创 2019-05-18 12:00:30 · 5556 阅读 · 2 评论