奈文摩尔ST

Flink Kafka Doris实战demo环境：Flink 1.12Doris 0.12Kafka 1.0.1+kafka3.1.1一：编译doris参考官网Docker编译：https://github.com/apache/incubator-doris/wiki/Doris-Install1.1 注意问题：需要把fe/pom.xml中下载的Repository地址改下cloudera-thirdpartyhttps://repository.cloudera.com/

CDH最大文件描述符Configuring Maximum File Descriptors一：问题：二：解决三：参考CDH服务最大文件描述符修改

zookeeper数据存储及查看hbase信息1.zookeeper数据存储：1.1内存数据存储、磁盘数据存储. 内存数据存储： 数据模型是一棵树。包括所有节点路径，节点信息，ACL等。 DataTree:所有节点信息 DataNode:数据存储最小单元1.2磁盘数据存储：目录在配置zookeeper的文件中。ls /tmp/zookeeper/myid version-...

大数据技术框架1. 简介2. Hadoop框架2.1. Hadoop-MapReduce2.1.1. 简介：2.1.2. 特点2.1.3. 架构2.1.4. 执行流程：2.1.5. Wordcount例子2.1.6. 缺点：2.2. Yarn2.2.1. 简介2.2.2. 架构2.2.3. 工作流程2.2.4. 设计目标2.3. Hadoo...

一、问题：安装组件，parcel激活卡住不动二、解决：2.1点击API文档clipboard.png2.2点击rest;找到deactive,点击进去clipboard1.png2.3 查看rest接口信息clipboard2.png2.4 使用方法：curl -u admin:admin -X POST http://${cloudera-...

背景：如果作业由多个MR任务完成，则必然经过多次完整的Map–shuffer–Reduce，中间节点的数据多次写入HDFS，浪费IO读写。（可以将HDFS理解为多个任务之间的共享存储。）Tez的引入可以较小的代价的解决这一问题。Tez采用了DAG（有向无环图）来组织MR任务。核心思想：将Map任务和Reduce任务进一步拆分，Map任务拆分为Input-Processor-Sort-M...

代码：chooseExcessReplicates// split nodes into two sets// moreThanOne contains nodes on rack with more than one replica// exactlyOne contains the remaining nodessplitNodesWithRack(candidates, rackM...

一：问题：zookeeper oom挂掉之后重启及选举失败二：排查：2.1 oom信息：java.lang.OutOfMemoryError: Java heap space at java.util.Arrays.copyOf(Arrays.java:3236) at java.io.ByteArrayOutputStream.grow(ByteArray...