eyeofeagle的博客

【代码】CDH 端口未授权访问：hdfs-50070, yarn-8088, jetty漏洞修复。

下载cdh版的kylin tar包： http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.6.1/apache-kylin-2.6.1-bin-cdh60.tar.gz 注： 此版本kylin依赖jdk81, 配置环境变量export JAVA_HOME=/usr/java/jdk1.8export KYLIN_H...

hdfs用户提交spark任务到yarn上报错：OutOfMemoryError: unable to create new native threadjava.lang.RuntimeException: java.lang.OutOfMemoryError: unable to create new native thread at org.apache.hadoop.hba...

文章目录1, 概念介绍： cloudera-manager, parcel,csd2, 自定义parcel: 把jar包封装为parcela, 生成parcelb, 生成csd jar包c, 部署服务到cloudera-manager1, 概念介绍： cloudera-manager, parcel,csd名称含义parcel普通tarball + metadata ( xx_env.sh ，parcel.json, alternatives.json )csd

1, 存在的问题Apache ZooKeeper 3.4.10之前版本、3.5.0-alpha版本至3.5.3-beta版本，在身份验证/授权检测实现中存在安全漏洞，可使任意端点加入群集，修改内容https://www.linuxidc.com/Linux/2018-05/152640.htm2, 升级a, 查看现有的版本，和启动过程[root@test-c6 ~]# echo stat|nc localhost 2181Zookeeper version: 3.4.5-cdh5.12.0

文章目录1，配置hdfs, hbase: 提高下线速度2，主机：进入维护模式3, 主机解除授权: Decommission(退役)解除授权的操作细节hdfs 数据转移hbase数据转移参考：https://docs.cloudera.com/documentation/enterprise/5-12-x/topics/cm_mc_decomm_host.html1，配置hdfs, hbase: 提高下线速度########## hdfs ##############依据迭代设置复制工作乘数器dfs

1, 下载streamsets的parcel文件parcel下载地址： https://archives.streamsets.com/datacollectorparcel使用cloudera manager安装文档：https://streamsets.com/documentation/datacollector/3.16.x/help/datacollector/UserGuide/Installation/CMInstall-Overview.html#concept_nb5_c3m_25

1, api使用指南总览：http://test-c6:7180/static/apidocs/quickstart: http://test-c6:7180/static/apidocs/tutorial.htmla, 查看集群信息[root@test-c6 ~]# curl -u admin:admin 'http://localhost:7180/api/v1/clusters'{ "items" : [ { "name" : "Cluster 1", "version"

文章目录1, 规划概览a, 服务拆分：多个小角色b, 目录结构，使用帮助2, 具体操作内容3, 具体模板内容1, 规划概览a, 服务拆分：多个小角色b, 目录结构，使用帮助[vagrant@c7 ansible-cdh-el7-playbook]$ tree.├── ansible7.tar├── group_vars│ └── all├── help.txt├── hosts├── hosts-cdh -> roles/common/files/hosts├── ins

文章目录1，集群架构2, 安装kerberos服务3, CDH集群启用kerberosa, Administrator: securityb, Enable Kerberosc, 确认并勾选d, 填写kdc信息e, 略过CDH管理kerberos, 填写CDH管理员账号4, 使用kerberos认证，调用hive,hbase等服务1，集群架构角色主机ipkerberos软件包说明...

为防止hadoop集群因version等元数据丢失导致启动报错Namenode not format, 而使得所有数据丢失，需要数据业务备份使用CDH的数据主要为hive, hbase的各表，所以仅需要备份hive,hbase数据（以待hadoop重新格式化后无数据）测试hdfs重新格式化，数据恢复说明1： hdfs手动重新格式化后，/目录没有任何数据, 此时需要创建相关的基本目录:（...

需求：　由于服务器被攻击，hdfs集群的VERSION文件被删除，看似集群正常运行，但遇到修改配置，需要重启hdfs服务时，就会报错（namenode 未格式化）1, 查看VERSION文件格式: namenode, datanode文件字段内容dn/current/VERSIONstorageID, clusterID,datanodeUuid,storageTyp...

yarn 的架构ip角色192.168.56.151nodemanager192.168.56.152resourcemanager，nodemanager正常提交的yarn任务2019-09-22 21:14:34,310 INFO org.apache.hadoop.yarn.server.nodemanager.NodeStatusUpdaterImp...

1, CDH集群：更换节点iphdfs --> 集群更换ip后，可以自动识别，并重启生效，服务正常运行yarn --> 集群更换ip后，nodemanager可以正常运行，但是resourcemanager启动失败 :解决：删除resourcemanager --> 角色切换到另一个节点，重启即可正常运行2, CDH集群：更换主机名cloudera-scm-se...

修改hdfs超级用户： rootcloudera安装hdfs后，默认的配置System User是hdfs, 修改root用户，重启会报错：/var/run/hdfs-sockets权限问题（由于是旧的用户占用了socket,所以删除就行）#java.io.IOException: the path component: '/var/run/hdfs-sockets' is owned ...

1, 查看具体报错原因： libmysqlclient_r.so.16: cannot open shared object file: No such file or directorytail -f /opt/cloudera*/logs/cloudera-scm-server/cloudera-scm-server.log ，查看报错信息如下： exec /opt/cloudera/p...

1, hbase启动失败：OutOfMemoryError由于内存不够，导入大批量数据时发生内存溢出，所以需要调整内存分配1,在浏览器打开7180集群管理界面，进入到hbase–>配置–>输入框搜索：java2，mapreduce运行卡顿查看/var/log/ hadoop-cmf-yarn-JOBHISTORY-node1.cluster.log.out ,提示gc频繁，所...

1，hbase表：数据结构2，hbase报错集由于region发生split, regionserver暂忙，停止了服务，而数据还在往旧的region中插入，导致如下各种错误==>解决办法：第一步： 备份hdfs的表数据（hdfs dfs -mv /hbase/data/default /hbase.back）第二步： 删除hdfs中的hbase数据目录的全部数据 (hdfs...

1，cm 的rpm 包下载地址：a, http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16/RPMS/x86_64/b, archive.cloudera.com/cm5/installer/5.16.1/cloudera-manager-installer.bin2， 安装rpm包install-cdh.sh#安装jdkr...

1, ResourceManager 内存－－－－内存(MB)－－－yarn.scheduler.minimum-allocation-mb默认　1024MByarn.scheduler.maximum-allocation-mb默认　 8192MB－－－－cpu个数－－－yarn.scheduler.minimum-allocation-vcores...

1，两种安装方式: cm-tar包，cm-rpm包cm-tar包1, cloudera-manager-el6-cm5.12.2_x86_64.tar.gz|cm-tar包1, cloudera-manager-agent-5.12.2-1.cm5122.p0.12.el6.x86_64.rpm2, cloudera-manager-daemons-5.12.2-1.cm5122...

1,下载cdh的phoenix安装包http://archive.cloudera.com/cloudera-labs/phoenix/parcels/latest/移动parcel文件到cdh安装目录：　/opt/cloudera/parcel-repo/打开cloudera的管理7180 web管理界面, 选择parcels—> 检查新parcel: 分发, 激活...

基本组织架构角色启动的服务使用的脚本cm-servercloudera-scm-server, cloudera-scm-agentserver.shcm-agentcloudera-scm-agentagent.sh脚本安装： 所用到的文件及目录├── agent.sh├── server.sh├── cdh│ ├── CDH-5.12.0...

1, 副本增加：1-> 2需求：历史数据只有一个副本，需要修改为两个副本登陆7180也没, 配置hdfs的replications个数手动设置历史文件的副本数#1,查看某文件的副本数[hdfs@cdh1 ~]$ hdfs dfs -stat '%o,%r' /a.txt #blocksize, replication134217728,1#2, 修改文件副本数，-R ...

1，块丢失 && namenode高可用失效=>两个nn都是active_1073755565 /hbase/data/default/V_ESBH