qq_40995238的博客

org.apache.flume.FlumeException: NettyAvroRpcClient { host:xxxxx, port: xxxxx }: RPC connection error

hbase的基础架构及底层原理基础架构1. HMaster：主节点。负责分配region，以及管理HRegionServer。2. HRegionServer：从节点。负责管理region。底层原理HBase的主节点有一个或多个，其中一个是活动节点，其他是备用节点。在zookeeper集群中抢占到锁的就是主节点，其他备用节点对zookeeper集群中的这个锁设置观察，等待锁释放，以伺机抢占锁。从节点启动时，在zookeeper上的server目录下建立代表自己的临时节点。由于主节点订

kafka的架构模型以及内部细节topic：每条发布到kafka集群的消息都有一个类别，这个类别就叫做Topicbroker：服务端,储存消息consumer：消费者,从broker读取消息producer：生产者，向broker放入消息partition：一个topic消息划分不同的区，分区是kafka消息队列组织的最小单位，一个区可看作一个队列一个broker服务下，可以创建多个分区，broker数与分区数没有关系；在kafka中，每一个分区会有一个编号：编号从0开始。.

flumeflume可以适用于大部分的日常数据采集场景Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中 一般的采集需求，通过对flume的简单配置即可实现 Flume针对特殊场景也具备良好的自定义扩展能力...