h_big_tiger的博客

一、什么是QuartzQuartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目，完全由Java开发，可以用来执行定时任务，类似于java.util.Timer。不过相比较于Timer，功能更完善一些：持久性作业 - 就是保持调度定时的状态;作业管理 - 对调度作业进行有效的管理;二、场景举例拿火车票购票来说，当你下单后，后台就会插入一条待支付的task(job)，一般是30分钟，超过30min后就会执行这个job，去判断你是否支付，未支付就会取消此次订单；

Redis Cluster与Codis的选择一、Codis1.1 Codis是什么Codis 是 Wandoujia Infrastructure Team 开发的一个分布式 Redis 服务, 用户可以看成是一个无限内存的 Redis 服务, 有动态扩/缩容的能力. 对偏存储型的业务更实用, 如果你需要 SUBPUB 之类的指令, Codis 是不支持的. 时刻记住 Codis 是一个分布...

之前的文章里已经写了使用TokuDB进行数据压缩，准确的说，但 TokuDB并非是归档，而是对数据进行压缩，使得数据库在保存大量数据时有更好的表现，这节就是描述一个数据库归档方案。经过调研，发现一个比较好的工具： pt-archiver。1、原理通过给定的–where条件，查询出表中需要删除或者归档记录的主键信息，然后通过强制主键索引的方式，小批量（最小可以做到1行）的方式删除或者归档，最大...

公司最近说是数据库中数据量比较大，好多是15/16年的数据，基本不用，但是堆在数据库又严重影响性能，想找个方法解决掉它。所以，这个任务就这么放到了我的头上。一、 目前问题业务系统的业务表的数据量很大，严重影响性能，需要进行优化。二、 问题解决方案按照目前问题，对症下药，我们需要对数据进行归档。目前市面上有几个解决该问题的方案，可选用一种或多种进行优化三、 方案一3.1 TokuDBR...

ES学习第二篇一、与elastic search的交互我是Java工程师，相应的我就说我们是怎么交互的。1.1 Java API在代码中你可以使用 Elasticsearch 内置的两个客户端：1.1.1 节点客户端节点客户端作为一个非数据节点加入到本地集群中。换句话说，它本身不保存任何数据，但是它知道数据在集群中的哪个节点中，并且可以把请求转发到正确的节点。1.1.2 传输客户端...

一、ES的产生1.1 大批量数据如何检索问题：当系统数据量上了10亿条的时候，我们通常会从以下角度去考虑问题：用什么数据库好？(mysql、oracle、mongodb、hbase…)如何解决单点故障；(zk、mq)如何保证数据安全性；(热备、冷备)如何解决检索难题；(数据库代理中间件：mysql-proxy、Cobar、MaxScale等;)如何解决统计分析问题；(离线、近实时)...

最近接了一个新需求，做一个搜索引擎。先看一下技术选型吧。ElasticSearch和solr的区别Elasticsearch简介Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理大数据成为可能。它用于全文搜索、结构化搜索、分析以及将这三者混合使用：如维基百科使用Elasticsearch提供全文搜索并高亮关键字，以及输入实时搜索(search-asyo...

错误一：问题描述：controller服务器不能连接到另外两台kafka服务器，但是telnet却可以通。 WARN [RequestSendThread controllerId=137] Controller 137's connection to broker 192.168.154.138:9092 (id: 138 rack: null) was unsuccessful (kaf...

我们公司的业务流程是通过canal模拟MySQL slave的交互协议，获取MySQL的binary log，从而解析MySQL的日志。将解析后的数据通过kafka发送至其他系统从而达到数据同步的目的。所以canal与kafka的集成也就是我的下一步工作。老规矩，先看官方给的example。canal与kafka的安装集成配置请看另一个文章：https://blog.youkuaiyun.com/h_bi...

客户端代码分析首先我是从官方实例example项目开始。项目结构其中，assembly文件夹中都是一些xml配置，我们将其忽略就可以了。bin目录里面是一些可执行文件，如果我们将变量配置好，是可以直接通过可执行文件来执行，实现自己的功能。conf文件夹里是日志的配置文件，忽略过去就好，毕竟重点在代码那块。resource文件夹里就是一些配置了，就是通过更改这些配置文件来使可执行文件有...

Kafka安装配置环境版本操作系统：CentOS release 6.6 (Final)java版本: jdk1.8kafka 版本: kafka_2.11-1.1.1.tgz一、安装Kafka1.1 下载压缩包，复制到固定目录并解压到官网下载压缩包wget https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.1/kafk...

Zookeeper安装配置环境版本：操作系统：CentOS release 6.6 (Final)java版本: jdk1.8zookeeper版本: zookeeper-3.4.11一、安装jdk此处省略，自己百度安装二、安装zookeeper2.1 下载源码包，并解压官网下载地址：http://www.apache.org/dyn/closer.cgi/zookeeper...

Canal入门（三）Canal的配置介绍配置之前先了解下Canal配置的加载方式：canal配置方式有两种：ManagerCanalInstanceGenerator：基于manager管理的配置方式，目前alibaba内部配置使用这种方式。可以通过实现CanalConfigClient，连接各自的管理系统，即可完成接入。SpringCanalInstanceGenerator：基于本...

Canal入门（二）canal kafka quickStart这两天看了一下canal的github文档，有了一些笔记，在这里记录一下：https://github.com/alibaba/canal1、基本说明canal 1.1.1版本之后, 默认支持将canal server接收到的binlog数据直接投递到MQ, 目前默认支持的MQ系统有:kafka，RocketMQ2、环境版...

这篇文章主要是分享我做消息回调，错误处理，消息拦截，批量处理的一些代码，希望大家给我指出不足之处。消息回调这个简单，你只需要实现一个接口：ProducerListener@Componentpublic class KafkaSendResultHandler implements ProducerListener { @Override public void onSuc...

公司需求变动，对消息中间件的选型从RabbitMQ转为Kafka，我也这段时间好好了看了下Kakfa。将最近的学习笔记整理整理，共享一哈。1、什么是kafkaApache kafka是消息中间件的一种。举个例子，生产者消费者，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的鸡蛋就丢失了。再...

Canal前段时间做完kafka基础功能后，公司又增加了一个新需求，利用kafka和canal完成数据库的实时增量。于是开始对canal的调研之路。希望看到的人可以给我一些指导，共同进步。1、背景早期，阿里巴巴 B2B 公司因为存在杭州和美国双机房部署，存在跨机房同步的业务需求 ，主要是基于trigger的方式获取增量变更。从 2010 年开始，公司开始逐步尝试数据库日志解析，获取增量变更进...