dmlcq的博客

优化查询

因为一次 Kafka 宕机，我明白了 Kafka 高可用原理！导读：笔者所在的是一家金融科技公司，但公司内部并没有采用在金融支付领域更为流行的RabbitMQ，而是采用了设计之初就为日志处理而生的Kafka。我一直很好奇Kafka的高可用实现和保障。从Kafka部署后，系统内部使用的Kafka一直运行稳定，没有出现不可用的情况。但最近系统测试人员常反馈偶有Kafka消费者收不到消息的情况，登陆管理界面发现三个节点中有一个节点宕机挂掉了。但是按照高可用的理念，三个节点还有两个节点可用怎么就引起了整个集.

Docker搭建Zookeeper&Kafka集群最近在学习Kafka，准备测试集群状态的时候感觉无论是开三台虚拟机或者在一台虚拟机开辟三个不同的端口号都太麻烦了（嗯。。主要是懒）。环境准备一台可以上网且有CentOS7虚拟机的电脑> 为什么使用虚拟机？因为使用的笔记本，所以每次连接网络IP都会改变，还要总是修改配置文件的，过于繁琐，不方便测试。（通过Docker虚拟网络的方式可以避免此问题，当时实验的时候没有了解到） # Docker 安装 > 如果已经安装Dock

接到一个需求，同步对方的18张表，而且还是视图。从程序端做。首先写了另外一个jdbc的链接到人家的数据库读取视图。也就是我们程序同时连接2个不同的数据库。2个不同的jdbc.properties,2个不同的getconnection,2个不同的excuteQuery.等等。但是光是读取一张180万数据的表，就内存溢出，结果集关闭了。存取数据的集合是JSONARRAY。于是我们跟业务联系，幸

这个问题存在了好长时间，后来才看到正确的解释：spring 默认scope 是单例模式，这样只会创建一个Action对象，每次访问都是同一个Action对象，数据不安全struts2 是要求 每次次访问 都对应不同的Actionscope="prototype" 可以保证 当有请求的时候 都创建一个Action对象

项目遇到了张表50万数据，需要取出数据，做同步数据操作，进行全量比较。  后来试了几种方法，终于找到了较快的方法。多线程根本提高不了速度。因为是做同一件事情。读取的CPU是同一个......过滤后取得zhihua 集合里面没有vip集合的部分，其实就是差异。  JSONARRAY zhihua =NEW JSONARRAY ();JSONARRAY vip =NEW JSONARR