一数博客

Kafka2.13-2.8安装教程

Hadoop集群搭建

Atlas 2.2.0源码编译及安装步骤一、源码编译1. 下载源码2. 前置环境安装3. 修改版本号4. 修改源码中 atlas与kafka版本兼容问题5. 开始编译6. 问题锦集二、安装步骤1. 安装解压Atlas2. 集成HBase3. 集成Solr4. 集成Kafka5. Atlas-Server配置6. 集成Hive7. 集成Sqoop[待完善]一、源码编译1. 下载源码 wget http://dlcdn.apache.org/atlas/2.2.0/apache-atlas-2.2.0-

HA运行原理

HDFS文件写入流程

HDFS文件读取流程

大数据基础组件Hadoop 大数据生态圈HDFS 分布式文件存储系统MapReduce(MR) 基于磁盘计算Spark(RDD) 基于内存计算 SparkSQL 一般情况都是基于离线数据处理 Spark Streaming 一般情况是基于微批(实时)处理Flink 正儿八经的流式计算–消息队列Kafka 可理解生产者和消费者之间的数据传递–数据库Hive 主要面向于(离线)数据仓库使用，内部执行引擎(MapReduce/Spark)，读过Hive的朋友应该也知道可以自研一个开发引擎

Hadoop端口理解hadoop端口理解8020900050070IDEA BUGhadoop端口理解80208020端口在hadoop1.x中默认承担着namenode 和 datanode之间的心跳通信，且也兼顾着FileSystem默认的端口号(就是hdfs客户端访问hdfs集群的RPC通信端口)，但是在hadoop2.x中，8020只承担了namenode 和 datanode之间的心跳通信，当然这些端口的设置是指的默认设置。<property> <name>fs