
hadoop
Gospel303
这个作者很懒,什么都没留下…
展开
-
安装分布式Hbase 边做边记
要虚拟机安装分布式的Hbase,之前只装过伪分布式的,这次跟着帖子安装,遇到问题有记录查看起来也比较方便。之前写的博客给了参考的帖子,这次又找了一些,挑一个详细的跟着做吧。先是下载Hbase,要Hadoop安装对应版本的Hbase,https://blog.youkuaiyun.com/sunny05296/article/details/54089194我的Hadoop是2.7.6,1.2版本以...原创 2019-03-17 17:14:09 · 215 阅读 · 0 评论 -
hadoop完全分布式集群虚拟机网络设置
前面准备跟着一个帖子把Hadoop设置好,结果网络一直弄不好,这里专门记录一下网络怎么搞,希望这次能成功,已经浪费一上午了。背景是拷了别人的虚拟机,Hadoop已经安装好了,就是网络问题了,这个其实别人也已经设置好了,但是我的IP和人家不一样,就又无法联网了。之前看帖子已经知道,编辑那里的网络配置是专门改三种方式的设置的,选择使用哪个方式是在开机之前设置,编辑那里是改不了的。VMWar...原创 2019-03-15 16:44:06 · 922 阅读 · 0 评论 -
主机eclipse连接虚拟机hadoop管理HDFS 边做边记
背景:已经在虚拟机上安装了三个Hadoop节点,Ubuntu16.04,Hadoop2.6.4。也配置好了Hbase1.2.11,使用自带的zookeeper。现在任务是在Windows环境下来操控Hbase数据,把数据进行上传,读取等操作。https://www.cnblogs.com/yjmyzz/p/how-to-remote-debug-hadoop-with-eclipse-an...原创 2019-03-19 20:30:00 · 935 阅读 · 0 评论 -
hadoop学习之hadoop完全分布式集群安装
要自己搭一个完全分布式的Hadoop,之前只做过伪分布式的,还是有很大差别的,就又看了一些资料,发现一篇很好的博客,我就粘贴过来,按照这个做,顺便记录一下各个参数,免得用的时候忘了部分参数,导致用不了。这篇转载的文章是http://blog.youkuaiyun.com/ab198604/article/details/8250461作者:ab198604要想深入的学习hadoop数据分析技术,首...原创 2020-12-04 15:07:22 · 684 阅读 · 0 评论 -
hadoop安装作业
Hadoop安装与配置安装环境:Ubuntu 16.04 64位hadoop 2.4.1实验在win7、Ubuntu双系统环境下进行,伪分布式安装。 实验准备:先安装Ubuntu双系统,常见方法有硬盘安装和U盘安装。我开始使用的是硬盘安装,安装之后进入界面没有任何图标,找了很多帖子也没有解决,后来使用了U盘安装。使用软通牒制作安装盘进行安装,我参照网上帖子安装的,这里不再赘述。参考书:《hadoo...原创 2018-06-02 15:26:48 · 249 阅读 · 0 评论 -
MapReduce安装作业
MapReduce基本操作及应用开发l MapReduce简介1 MapReduce编程模型MapReduce采用”分而治之”的思想,把对大规模数据集的操作,分发给一个主节点管理下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。简单地说,MapReduce就是”任务的分解与结果的汇总”。在Hadoop中,用于执行MapReduce任务的机器角色有两个:1.JobTracker用...原创 2018-06-04 19:09:36 · 2065 阅读 · 0 评论 -
Hive安装配置
参考贴:https://blog.youkuaiyun.com/just4you/article/details/79981202http://dblab.xmu.edu.cn/blog/hive-in-practice/#more-509https://www.cnblogs.com/K-artorias/p/7141479.html 参考书:Hadoop大数据处理技术基础与实践 p196-217 本次实验...原创 2018-05-25 16:19:29 · 224 阅读 · 0 评论 -
zookeeper安装配置
参考贴:https://www.cnblogs.com/lsdb/p/7297731.htmlhttps://blog.youkuaiyun.com/shatelang/article/details/7596007安装步骤:1.下载zookeeper 书P185 3.4.6(hadoop2.4.1 openjdk version "1.8.0_151")2.解压到 /usr/local 重命名为zook...原创 2018-05-20 13:37:18 · 128 阅读 · 0 评论 -
hbase安装与配置
参考书P163-178参考网站:https://blog.youkuaiyun.com/xqshi/article/details/53022623 https://blog.youkuaiyun.com/wuruiaoxue/article/details/533406181.下载:官网下载,在过去版本中,选择与hadoop配适的版本https://blog.youkuaiyun.com/su...原创 2018-05-20 13:35:04 · 168 阅读 · 0 评论