- 博客(9)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Flume Source
SourceSource用于从外部系统或其他Agent（或自身产生）接收数据。并将数据写入到一个或多个cahnnel中。Source可以接受任何来源的数据。Source需要通过配置文件配置，保证至少有一个Channel连接，有一个定义type的参数。生命周期系统配置一旦验证通过，source就会被实例化，并且由ConfigurationProvider进行配置。如果缺少配置...
2018-08-11 20:35:33
280
原创 Flume 消息重复
Flume提供至少一次保证，事件至少被存储一次。有些场景会导致Flume最终会不只一次存储数据。例如，RPC调用可以设置超时时间，若在超时时间内没有得到相应，及时RPC没有失败，也会被认为失败，从而引发重试。若RPC没有失败，重试将导致相同事件再次发生。造成这数据存储端数据重复。例如：Flume source可以写入多个Channel，若相同的source配置了多个Channel，并存...
2018-08-11 10:46:05
3361
原创 Flume 基础知识
一：flume分布式数据收集框架、易扩展、可靠、高可用、可定制化，并且可对数据进行简单处理最简单元是Agent。Agent本身是一个java进程。运行在日志收集节点（服务器节点）。将收集的数据封装成一个event进行传输。二：agentagent包含三个核心组件：source，channel，sink。source：source组件专门用来收集数据的。负责将数据捕获后进...
2018-08-11 10:23:38
1591
原创 Zookeeper的应用场景---（二）负载均衡
负载均衡用来对多个计算机集群、网络连接、CPU、磁盘驱动器或其他资源进行分配负载。达到优化资源使用、最大化吞吐量、最小化响应时间和避免过载的目的。负载均衡分为：硬件负载、软件负载Zookeeper负载均衡实现原理：使用：树形结构、Watcher通知机制等特点1、Zookeeper作为服务的注册中心。各服务都注册在Zookeeper相应节点上，当服务启动时，向节点注册服务信息。...
2018-08-09 15:56:07
321
原创 Zookeeper的应用场景---（一）数据发布/订阅
数据发布/订阅数据发布/订阅系统又可以称之为配置中心，可用来进行配置管理，服务发现、注册发布者：将数据发布到zookeeper的一个或一系列节点上。订阅者：进行数据订阅。目的：数据集中管理，动态获取数据，动态更新数据。发布订阅模式：一般有两种订阅模式推（Push）：Server端主动将数据更新发送给所有订阅的Client端。优点：对客户端要求低，及时性好。缺点：很难...
2018-08-09 13:23:13
445
转载 TCP三次握手、四次挥手
三次握手三次握手就是建立一个TCP连接的过程，Client端和Server端需要发送三次包完成连接的建立。TCP报文图序号：Seq序号，占32位，用来标识从TCP源端向目的端发送的字节流，发起方发送数据时对此进行标记。确认号：ack序号，占32位，只有ACK标志位为1时，确认序号字段才有效，ack=Seq+1。标志位：共6个，即URG、ACK、PSH、RST、SYN、FIN...
2018-08-04 16:55:50
286
原创 长连接、短连接区别
目录短链接优点：缺点：使用场景：长连接优点：缺点：使用场景：如何保持长连接：易混淆概念：http的keep-alive和Tcp的keepalive区别参考：短链接当通讯双方有数据交互时，会主动建立一个TCP连接，数据发送完成后断开此TCP连接。(Http1.0默认保持短链接)例如Http请求：Http是无状态的（不代表不能保持TCP长连接），...
2018-08-04 15:20:10
371
原创 分布式事务--三阶段提交
三阶段提交将二阶段提交的“提交事务请求”过程分为两步。三阶段包括：CanCommit、PreCommit、doCommit第一阶段：CanCommit1、事务询问：协调者向各参与者发送包含事务那内容的CanCommit请求。询问是否可以执行事务提交操作。并等待响应。2、询问响应：各参与者可以顺利执行任务，返回响应yes。并进入预备状态。否则响应no第二阶段：PreCommi...
2018-08-02 14:20:49
723
原创 分布式事务--二阶段提交
二阶段提交2PC，使分布式系统架构下所有节点在进行事务处理过程中保存原子性和一致性的一种算法。2PC是强一致性。分为两个阶段：投票 和 执行 两个阶段第一阶段：（投票阶段）1、事务询问：协调者向参与者发送事务内容，询问是否可以提交。并等待响应。2、执行事务：各参与者节点执行事务。并向Undo和Redo信息记录事务日志中3、反馈响应：成功执行事务，返回yes，表示事务可...
2018-08-02 10:19:49
705
redis入门指南2
2017-12-19
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人