qq_38250124的博客

HBase基本机构RowKey 一行 Timestamp时间戳版本号 列族Family 列Qualifier 值Valuerowkey行键 相对于一行的idTimestamp 版本号 多个版本的数据 默认没有指定取的是最新的值Family 列族 存放多个列 可以有多个列族Qualifier 列 多个列存在于一个列族里面 多列族多列Value 值 一列一个值rowkey timestamp family qualifier 确定一个唯一的值 public static byte

Yarn Spark Flink 架构图以及各部分作用Yarn1 ResourceManager2 NodeManager3 ApplicationMaster4 ContainerSpark1 Master2 Worker3 Executor4 Task5 提交方式6 提交脚本参数Flink1 JobManager提交方式Yarn1 ResourceManagerResourceManager(RM) 单节点 一个进程 管理nodemanager 相当于 namenode管理datanode控

zeppelin是一款方便的可视化工具，可以方便的将数据展示为可视化图表官网下载 完整版解压 配置cp zeppelin-site.xml.template zeppelin-site.xml 里面是一些端口配置默认就好cp zeppelin-env.sh.template zeppelin.env.sh配置一下java_home 即可启动bin/zeppelin-da...

1 告诉ambari添加什么服务/var/lib/ambari-server/resources/stacks/HDP/2.5/services目录下添加 服务名称 比如TEST然后在目录下新建metainfo.xmlcat /var/lib/ambari-server/resources/stacks/HDP/2.5/services/TEST/metainfo.xml包括...

而 从ods层开始就要开始记录一些字段来保证数据的一致性比如有 从哪个库来的等等，个人整理关于数据仓库的一些知识点以备后续查询ods(贴源层) dw（数据仓库层） dm（数据集市层）数据仓库（data warehouse）是一个 面向主题的 集成的 相对稳定的 反映历史变化的 数据集合用于支撑管理决策面向主题：不同主题对应于不同的业务，如淘宝，买家，卖家集成：...

转自https://blog.youkuaiyun.com/qq_33624952/article/details/79341034一、Yarn通俗介绍 Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统和调度平台，可为上层应用提供统一的资源管理和调度，它...

1 关闭防火墙 systemctl stop firewalldsystemctl disable firewalld2 ssh 免密每个节点上 ssh-keygen然后每个节点 ssh-copy-id user@ipexpect -c " set timeout -1; spawn ssh-keygen expect...

hue 是cdh中自带的组件，也可单独安装（麻烦），hue 是hadoop ui,利用它可以很直观的操作和查看hadoop生态应用。一般安装cloudera manager之后会自动带有hue管理界面first 安装所需依赖yum install -y maven git npm cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-pla...

hue可以集成大数据组件可以更加便捷的操作大数据集群 为cdh开源单击版安装centos 7先安装依赖yum install -y cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain krb5-devel libffi-devellibxml2-devel libxslt-devel make mysql mysql-de...

conf/storm.yaml#指定storm使用的zk集群storm.zookeeper.servers:     - "mini01"     - "mini02"     - "mini03"#指定storm本地状态保存地址storm.local.dir: "/root/storm"#指定storm集群中的nimbus节点所在的服务器nimbus.host: "mini01"#指定nimbu...