pengshuai128-优快云博客

原创输出流中方法out.write与out.println的区别

其中的write()方法，本身不会写入换行符，如果用write()写入了信息，在另一端如果用readLine()方法。由于读不到换行符，意味中读不到结束标记，然后由于IO流是阻塞式的，所以程序就是一直卡在那里不动了。原因即为缺少回车标识。如果在写入的时候加上“\r\n”,就可以解决这个问题了。而println()就自动加上了换行符了。在学习nio ，bio过程中应该注意小心此类问题

2017-05-24 15:09:29 9754

原创 Kafka创建多个consumer实例比较

1:创建一个consumer，多个worker线程执行消费其中worker的数量由下边代码中的new Integer(a_numThreads)参数决定Map topicCountMap = new HashMap(); topicCountMap.put(topic, new Integer(a_numThreads)); ConsumerConfig consume

2017-04-27 13:08:01 4909

原创 kafka元语实现

如何确保非极端环境下，Kafka 不丢数据，以及 Kafka 集群尽可能稳定呢？Producer 端设置 ack 为 all（或者说尽可能越多越好，但实际生产里集群实例过多，这样设置会影响性能，因此根据具体情况来定），即确保所有 replication 都拿到数据的时候，send 方法才得以返回，以此来判断数据是否发送成功，那么理论上来说，此时发送成功的数据都不会丢失；unclean

2017-04-26 16:30:36 375

flume中source是数据源，想数据源传递数据有两种实现思路There are two ways of achieving this. The first option is to create a custom client that communicates with one of Flume’s existing Sources like AvroSource or SyslogTcpSo

2017-04-25 21:28:13 1397

原创 flume使用

flume简单总结 1:flume中在同一个agent中从source到channel，从channel到sink每一步都有类似于事务的机制进行保障。在多个连起来的agent中，第一个agent的sink与第二个source之前也存在类似的事务机制。注：此处的agent是指source，channel，sink组成的一个单位。因此flume具有强可靠性，不会在agent的各个组件传输数据时产生

2017-04-25 15:22:45 634

原创 maven依赖下载过慢

直接创建maven项目的时候默认是从国外的服务器下载maven所需的依赖，有时需要翻墙，或者下载过慢，此时可以通过修改maven安装路径 /softwareInstall/maven/apache-maven-3.3.9/conf/setting.xml文件改成从国内jar仓库中下载所需依赖在setting文件mirrors标签中添加 alima

2017-04-24 13:05:08 903

原创 curator实现zookeeper的分布式锁

基于curator元语实现的分布式锁种类有好几种，下面只讲解一种实现 public class DistributeLock { private static final String PATH = “/example/cache”; private static final String zkStr=”master:2181,worker1:2181,worker2:

2017-04-24 12:59:00 10446

原创 curator实现zookeeper的领导选举

通过curator来实现zookeeper的领导选举，具体看代码 public class ExampleClient extends LeaderSelectorListenerAdapter implements Closeable{private String name;private LeaderSelector leaderSelector;private AtomicIntege

2017-04-24 12:55:51 906

原创 curator中监听器的实现

1：curator中的三种监听器实现第一种是可以监控本节点中节点的创建，删除，数据的修改。仅限于此节点本身 public class CuratorNodeCacheListener { private static final String PATH =”/example/cache”; private static final String zkStr=”master

2017-04-24 12:51:00 779

原创欢迎使用优快云-markdown编辑器

欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl

2017-04-24 12:44:05 244

pengshuai128的博客