小蚯蚓的博客

【转载原因：可以实现基本测试功能】【转载原文：flume学习笔记（一）：cdh5.14.2中安装，启动，测试flume】

一、目的在部署CDH集群，会有各式各样的意外，这些小错误太多。可能是一个阈值，也可能重启一下，也可能就是因为等一会就好。所以，在此记录所有错误，以备今后踩坑可以快速爬出来。二、错误1.CDH启动HDFS报错Canary 测试无法在目录 /tmp/.cloudera_health_monitoring_canary_files 中创建文件。如下图问题原因：namenod...

一、 问题描述CDH集群，添加hive组件的时候，失败报错，具体信息如下：Fri Jun 7 09:50:10 CST 2019Current working directory: /run/cloudera-scm-agent/process/39-hive-metastore-create-tablesLaunching one-off process: /usr/lib...

1.问题描述将cm全部组件删除，然后重新安装，无法启动server，启动后，会自动退出。查看日志：tail -100 /opt/cloudera-manager/cm-5.10.2/log/cloudera-scm-server/cloudera-scm-server.log报错...Caused by: javax.persistence.PersistenceExcept...

一、实现功能添加hadoop常见组件，hdfs，yarn，hive，zookeeper，spark，flume，oozie等。二、添加hdfs1.点击添加hdfs然后添加hdfs2.namenode/secondarynamenode/datanode的资源分配3.之后配置4.等待部署三、yarn1.添加yarn2.选择机器3...

一、实现功能cm进入网页后，第一次配置过程。二、步骤1.同意协议，然后continue2.选择部署版本选择Cloudera Enterprise Data Hub Edition Trial有60天试用期，之后会适用免费的3.查看新主机，即server可以不填写4.查看当前管理主机，即从节点hadoop02和hadoop03两个从节点，全选5.集...

一、机器分配172.16.0.147 server（主节点）/agent mysql、namenode、resource manager、master、zookeeper、hiveserver、flume、SecondaryNamenode172.16.0.115 agent （从节点）datanode、nodemanager、regionserver、zo...

一、cloudera manager 管理大数据开发平台（集群）简介1.主从架构： （1）server：主节点进程，启动在一台服务器上，与各个从节点通讯收集从节点发来的服务器状态信息，另外负责整个集群的启动和停止，负责集群框架的安装部署统一调配 server进程所在的服务器上不安装任何大数据框架（2）agent：从节点agent也称为主机，所有的大数据框...

1.问题描述cm安装hue后，访问hbase数据库，报错HBase Thrift 1 server cannot be contacted: Could not connect to hadoop02:90902.问题原因hbase的thrift server 1被关闭了，可能因为一些问题3.解决进入cm的hbase管理页面，重新开启thrift server 1...

1.问题描述安装sqoop成功之后，在Linux系统，运行sqoop命令：sqoop list-databases --connect jdbc:mysql://hadoop:3306 --username root --password 123456无法访问mysql数据库，报错：18/12/30 11:55:58 ERROR sqoop.Sqoop: Got excepti...

1.问题描述主机无法连接mysql数据库，连接报错Able to find the Database server, but not the specified database. Please check if the database name is correct and make sure that the user can access the database.2.问...

1.问题描述在hdfs上创建目录报错：mkdir: Permission denied: user=root, access=WRITE, inode="/":hdfs:supergroup:drwxr-xr-x2.问题原因hdfs上权限限制，root是没有权限的。除非取消hdfs的权限检查。3.解决办法取消hdfs检查权限（1）点击hdfs（2）点击conf...

一、问题描述启动cm的server成功，启动agent的时候报错，如下：[root@hadoop02 init.d]# ./cloudera-scm-agent start Starting cloudera-scm-agent: [FAILED]二、问题原因cm版本和centos系统版本不对应。自己centos是7.4的，但是cm版本是针对centos6的。之前采用：...

一、问题描述第一次添加hdfs服务，有警告一个服务没有启动对。就删除了hdfs。然后重新安装hdfs服务，就报错 Formatting the name directories of the current NameNode. If the name directories are not empty, this is expected to fail.Command (71) ha...

一、问题描述点击clouldera manager无法显示各个性能图片，报错Unable to issue query: could not connect to the Host Monitor二、原因：没有安装the Management service，自己安装过程中，跳过了那一步。三、解决安装：1.右上角点击add cloudera management S...