hadoop
关注
分享
扫一扫
super选择题
这个作者很懒，什么都没留下…
展开
-
基于Hive安装MySQL
Hive安装(基于MySQL，用yum安装)--------------------------------------------- 1.验证Centos是否安装MySQL $>yum list installed | grep mysql 2.删除MySql $>yum –y remove mysql-libs.X86_64 ...原创 2018-11-14 16:07:24 · 312 阅读 · 0 评论 -
启动hbase时，Hmaster、HRegionServer进程有时候起不来
它出现的原因可能有是以下两点：第一，可能是各个主机的时间不同步【1】在各个主机上运行：date 命令，看看时间是否同步【2】如果时间不同步的话格式如下：# ntpdate -u 时间服务器IP 例子1：[root@master michael]# ntpdate -u time.windows.com10 May 15:26:28 ntpdat...原创 2018-11-07 16:14:11 · 1880 阅读 · 0 评论 -
hadoop:安装手动HA
1.复制一份配置文件做HA （etc/hadoop） cp hadoop HA_hadoop2.修改配置文件hdfs-site.xml <property> <name>dfs.nameservices</name> <value>mycluster</value> </pro...原创 2018-11-02 18:22:39 · 357 阅读 · 0 评论 -
如何重新格式化Hadoop搭建的hbase环境
背景：其实我之前已经搭建好hbase环境了，但是后来发现我的数据块丢失了，所以我不得不重新格式化整个集群【1】删除各个集群的Hadoop/tmprm -r /home/michael/soft/hadoop/hadoop/tmp【2】先用zkServer.sh start 启动各个zookeeper，再用hadoop-daemon.sh start journalnode启动各个N...原创 2018-11-09 11:23:56 · 2578 阅读 · 0 评论 -
Hadoop的110道简答题
1 简述hadoop的安装配置1.创建hadoop账户2.配置主机名3.配置hosts文件4.配置免密码登录5.安装和配置jdk、修改/etc/profile文件，配置环境变量6.上传和安装hadoop7.配置hadoop配置文件（hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-si...转载 2018-11-06 08:38:46 · 4830 阅读 · 0 评论 -
window下eclipse运行集群mr时错误总结
1.集群提交修改项 a.确保JobAPP提交至集群 解决方案：修改mapred-site.xml mapreduce.framework.name = yarn b.报重新连接：0.0.0.0/0.0.0.0:8032 解决方案： 修改yarn-site.xml文件 ...原创 2018-10-24 23:05:22 · 291 阅读 · 0 评论 -
在windows下搭建hadoop+eclipse开发环境
1.去官网下载hadoop-eclipse-plugin-2.7.3.jar（与你Hadoop版本一致） 2.把jar包导入在eclipse安装路径的plugins中 3.重启eclipse4.eclpise调整到map/reduce视图 5.配置hadoop安装目录 window-》preferences-》hadoop ma...原创 2018-10-19 09:17:28 · 568 阅读 · 2 评论 -
在Linux的Centos6.5搭建hadoop集群环境
Centos6.5搭建hadoop集群环境先概括一下整体思路安装centos6.5主机 关闭防火墙和selinux 配置网络 时间同步 ssh无密码登录设置 安装jdk 安装hadoop 启动 wordcount测试安装centos6.5主机使用vmware创建三台centos操作系统本人的三台主机名与IP如下：master 192.16...原创 2018-10-08 22:42:57 · 442 阅读 · 0 评论 -
安装Centos 6.4提示找不到安装文件 The centos disc was not found in any of your drives.Please insert the centos d
【1】安装Centos 6.4提示找不到安装文件The centos disc was not found in any of your drives.Please insert the centos disc and press OK to retry 解决方法：把CD/DVD的IDE 连接打开 或者在设置中勾选 已连接...原创 2018-10-12 08:22:18 · 4193 阅读 · 1 评论 -
格式化namenode时：Error: JAVA_HOME is not set and could not be found.
1.格式化namenode命令：hdfs namenode -format 如果Error: JAVA_HOME is not set and could not be found. 修改hadoop-env.sh export JAVA_HOME=/home/hyxy/so...原创 2018-10-11 22:03:07 · 2772 阅读 · 1 评论 -
hive分区
hive分区方便查询分区表指的是在创建表时指定的partition的分区空间。1.Hive 分区表在Hive Select查询中一般会扫描整个表内容，会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据，因此建表时引入了partition概念。分区表指的是在创建表时指定的partition的分区空间。2.hive分桶1.简介桶是通过对指定列进行哈希计算来...原创 2019-02-28 16:27:12 · 638 阅读 · 0 评论