写给自己的博客

背景 最近公司的推荐系统准备上线一个实时预测的功能，通过实时训练模型后实时预测用户的实时兴趣，进而推荐相关作品。项目用到了spark streaming、spark sql和spark mllib。功能开发完成后，预生产环境测试性能很不理想，于是我便接到这个需求优化改造任务。 优化的过程无非是从以下几方面入手： 首先是从代码逻辑上进行优化，减少迭代计算，合并单次操作为批量操作，优化业务逻辑等，这...

分布式作业调度框架——Elastic-Job 1.概述 Elastic-Job是当当开源的分布式弹性作业框架。Elastic-Job分为lite和cloud两个相对独立的版本，lite版为轻量级去中心化的版本，cloud版则是基于Mesos + Docker方案提供了资源治理、应用分发和服务隔离的功能。我们项目使用的是lite版的Elastic-Job，因此本文主要围绕lite版本进行介绍。 el...

之前面试时有被问到mysql的mvcc，虽然对mvcc的原理大概了解，但是mysql中是怎么实现mvcc的确实没有认真去了解过。今天就完整的学习一下。

Redis之ziplist数据结构

安装sentinl插件 到https://github.com/sirensolutions/sentinl/releases上选择合适的版本，比如你的kibana是5.6.2的，那么这里也要选择5.6.2的sentinl版本；复制zip包的链接地址，然后到kibana服务器（开通外网）上，执行下面的命令即可安装： /usr/local/kibana/bin/kibana-plugin insta...