久醉绕心弦的博客

Atlas 2.0.0编译与CDH6.2.1集成Atlas能够提供开放式的元数据管理和治理功能。能够构建表与表之间的血缘关系，并且支持对表和构建表的过程进行分类管理。对于平台数据量越来越大，元数据管理显得至关重要，元数据有效的表达了数据的来源和流向以及依赖，Atlas的出现，有效的解决了元数据的管理问题。Atlas架构原理核心组件核心层Core类型系统Type System: Atlas 允许用户为他们想要管理的元数据对象定义一个模型。该模型由称为 "Type" 的定义组成。"类型"

CDH集群线上调优，可做参考1 CM Service这些服务主要是提供监控功能，目前的调整主要集中在内存放，以便有足够的资源 完成集群管理。 服务 选项 配置值 Activity Monitor Java Heap Size 2G Alert Publisher Java Heap Size 2G E

前提：在我的CDH5.10集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本在线安装：        环境我这边是jdk1.8，scala-2.11.x ，操作系统Centos6.5  一、准备工作：        创建目录：mkdir -p /opt/cloudera/csd        并修改该权限及组：chown cloudera-scm:...

选择自定义服务：（注意：合理分配主机，不要都按在一台，以免压力过大）点击添加服务即可(HDFS、YARN (MR2 Included)、Zookeeper、namenode和resourcemanager的HA、Hive、HBase、Sqoop2、Flume、Oozie、Hue、Kafka、Spark、Spark2)    异常现象：        内存调度过阀：默认是0.8---》修改...

==========================部署规划开始==============================server.commysql、server、namenode、agent、resourcemanager、journalnode、zookeeper、master、flume、masteragent01.comsecondarynamenode、datanode...

cloudera manager  管理大数据开发平台（集群）主从架构：             server：主节点进程，启动在一台服务器上，与各个从节点通讯收集从节点发来的服务器状态信息，另外负责整个集群的启动和停止，负责集群框架的安装部署统一调配，server进程所在的服务器上不安装任何大数据框架agent：从节点agent也称为主机，所有的大数据框架安装部署及任务的执行都是在a...