sunfect的博客

** Create hive external table to access hbase table ** HBase数据库中的表数据量都比较大，由于HBase不易查询，需要借助Hive对数据进行查询分析。这时就需要让Hive能够直接访问HBase里面的数据表，而不需要将数据在Hive里面复制一份。 下面做一个演示： 在HBase中新建一张测试表customer hbase(main):00...

这里写自定义目录标题CDH6.0.1详细安装步骤及常见问题解决系统环境一、配置网络环境二、 配置163 yum源三、安装MySQL四、下载并安装Cloudera Manager五、配置CDH CDH6.0.1详细安装步骤及常见问题解决 Cloudera Manager能够大大减轻配置hadoop集群的工作量，安装好以后能够快速熟悉Hadoop生态系统常用的一些组件，如HBase, Hive, Sp...

在安装配置完3个节点的CDH集群后，在cloudera manager的主界面中显示HDFS的红色报警，点进去以后看到如下错误： 该NameNode当前处于safe mode. 尝试在报错的hadoop01节点上手动disable safe mode： hdfs dfsadmin -safemode leave root用户的权限竟然不够！好像只能通过Cloudera Manager的管理...

默认情况下HDFS将一份数据复制3份，分别存储在不同的Region Server上，具体复制多少份，可以在hdfs-site.xml配置文件中进行修改。 <property> <name>dfs.replication</name> <value>3</value> </property> HDFS Block Rep...

今天发现CDH Hadoop集群的NameNode显示红色报警： 检查点状态 文件系统检查点已有 1 天，2 小时，23 分钟。占配置检查点期限 1 小时的 2,639.08%。 临界阈值：400.00%。 自上个文件系统检查点以来已发生 1,182 个事务。这是 1,000,000 的已配置检查点事务目标的 0.12%。 点击报警的NameNode，可以看到具体的错误信息： 尝试重启报警的...

重启完报警的NameNode之后，又发现RegionServer也在报警： RegionServer 运行状况 运行良好的 RegionServer：0。存在隐患的 RegionServer：1。 RegionServer 总数：2。运行良好：0.00%。运行良好或存在隐患：50.00%。 临界阈值：90.00%。 继续使用重启大法，依然有效。 ...

启动Spark-Shell报错： java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the max threshold (1024 MB) of this cluster! Please check the values of ‘yarn.scheduler.maximum-all...

默认情况下，Hive连接metastore数据库的用户名和密码都是在hive-site.xml配置文件中明文设置的，存在安全隐患。生产环境中，这样做是不允许的，因此我们可以采用如下对密码进行加密处理的方式。 Original configuration <property> <name>javax.jdo.option.ConnectionPassword</na...