慕容的博客

2)生产者kafka-console-producer.sh。3)消费者kafka-console-consumer.sh。发布订阅分为多种类型，订阅者根据需求，选择性订阅。6.生产者和消费者只针对leader操作。（2）消费者组（某个分区，只能由一个消费者消费）2.topic主题对数据分类。1）主题kafka-topic.sh。外部共享，hadoop和kafka共享zk。分布式发布订阅，消息队列。3.消费者和生产者相互独立。流平台（存储，计算）（1）消费者和消费者相互独立。...

全文检索大体分两个过程，索引创建和搜索索引

kafka集群信息会注册在zk节点上

使用场景1.基于ES+HBase的数据采集与存储

反爬虫策略

kafka

flume可以作为kafka的生产者，也可以作为消费者

demo使用

nameNode（元信息）存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间，副本数量，文件权限），以及每个文件的块列表和块所在的DataNode等1.数据存储位置dataNode在本地文件系统存储文件块数据，以及块数据的校验和1.具体的数据存储second DataNode每隔一段时间对NameNode元数据备份......

clickhouse通过jdbc查询

网关地址：192.168.118.2node1:192.168.118.100node2:192.168.118.120node3:192.168.118.130MAC:00:0C:29:C7:59:6B00:0C:29:05:47:6600:0C:29:CD:DB:BFIPADDR=192.168.118.120GATEWAY=192.168.118.2NETMASK=255.255.255.0DMS1=8.8.8.8static8088 y

yarn:资源协调器，是Hadoop的资源管理器 ResourceManager：整个集群资源（内存，cpu等）的老大 NodeManager：单个节点服务器资源老大 ApplicationMaster:单个任务运行的老大 Container:容器，相当于一台独立的服务器，里面封装了额任务运行所需要的资源，如内存，cpu,磁盘，网络等 MapReduce1.App master(Container)2.MapTask(Container)3.ReduceTask(Container)

<?xml version="1.0" encoding="UTF-8" standalone="no"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration> <property> <name>javax.jdo.option.ConnectionUserName</name> <valu.

#habase命令 帮助 help#查询集群的状态: status#查询HBase有那些表 list#创建命令帮助查看 help "create"#如何创建一张表格式: create ‘表名’,‘列族名称1‘, '列族名称2‘ ...create '.

ZooKeeper主要服务于分布式系统，可以用ZooKeeper来做：统一配置管理、统一命名服务、分布式锁、集群管理。 使用分布式系统就无法避免对节点管理的问题(需要实时感知节点的状态、对节点进行统一管理等等)，而由于这些问题处理起来可能相对麻烦和提高了系统的复杂性，ZooKeeper作为一个能够通用解决这些问题的中间件就应运而生了。一.引入相关依赖 <dependency.........