<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[CWeeYii的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/CWeeYii</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; CWeeYii]]></copyright><item><title><![CDATA[基于canal数据加工系统]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/78536467</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/78536467</guid><author>CWeeYii</author><pubDate>Tue, 14 Nov 2017 23:38:38 +0800</pubDate><description><![CDATA[数据加工系统开发文档1.数据加工系统主流程2.服务介绍整个框架由4个服务组成：canal-server、canal-client、bimq-consumer、crm-bi-task四个服务组成  canal-server:主要负责获取mysql服务器的binlog日志，按照用户提交的事务维度解析为结构化数据，然后存储于内存中，并提供tcp服务。canal-client:通过connect到canal]]></description><category></category></item><item><title><![CDATA[阿里中间件canal学习笔记]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/78536374</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/78536374</guid><author>CWeeYii</author><pubDate>Tue, 14 Nov 2017 23:20:53 +0800</pubDate><description><![CDATA[Canal学习记录canal启动过程在canal中一个server中可以包含多个instance，每个instance对应着不同数据库中的不同表格的数据变更。举例说明就是：你可以启动一个server（对应一个netty服务或者jvm服务），在改server中可以有两个instance,一个对应highso库中的crmchance表的数据变更，另外一个对应着order表的数据变更 
1. server]]></description><category></category></item><item><title><![CDATA[elasticjob接入方式和管理端使用]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/78209859</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/78209859</guid><author>CWeeYii</author><pubDate>Wed, 11 Oct 2017 23:41:17 +0800</pubDate><description><![CDATA[1.elasticjob接入方式1.1 加入依赖<dependency>
    <groupId>com.dangdang</groupId>
    <artifactId>elastic-job-lite-core</artifactId>
    <version>2.1.5</version>
</dependency>
<dependency>
    <groupId>com.dang]]></description><category></category></item><item><title><![CDATA[elasticjob分布式任务调度中间件]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/78209808</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/78209808</guid><author>CWeeYii</author><pubDate>Wed, 11 Oct 2017 23:34:13 +0800</pubDate><description><![CDATA[1.elasticjobelasticjob是当当开源的分布式定时任务调度方案，其可用于替代quartz-db的分布式定时调度框架，并且支持单个任务的分片处理。其中分布式集群定时调度框架，需要解决的主要问题是：如何保证当个任务只会在集群中一台机器上执行。 
quartz-db是通过对QRTZ_LOCKS表中的trigger记录进行加互斥锁（select for update)，从而保证集群中只有一个]]></description><category></category></item><item><title><![CDATA[Quartz定时任务执行原理分析]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/78187913</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/78187913</guid><author>CWeeYii</author><pubDate>Mon, 09 Oct 2017 23:21:16 +0800</pubDate><description><![CDATA[1.定时任务执行原理在java中常见的定时调度方案有：ScheduledExecutorService和quartz两种方案。其本质上都是通过native的wait方法来实现的.1.1 ScheduledExecutorService定时执行原理ScheduledExecutorService的schedule方法，其根据delay周期性的执行任务。public ScheduledFuture<?>]]></description><category></category></item><item><title><![CDATA[swap.used.percent占比较高异常排查]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/72886167</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/72886167</guid><author>CWeeYii</author><pubDate>Tue, 06 Jun 2017 18:30:43 +0800</pubDate><description><![CDATA[怀疑1：分配的活跃虚拟内存大于物理内存jvm参数配置有问题（java8）：java8已经移除掉perm内存，使得-XX:MaxPermSize=256m无效;JVM配置
CUSTOM_JVM = -Xmx5g -Xms5g -Xmn2g -server -XX:PermSize=128m -XX:MaxPermSize=256m -XX:+PrintCommandLineFlags -XX:+Use]]></description><category></category></item><item><title><![CDATA[集群脑裂问题分析]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/72354363</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/72354363</guid><author>CWeeYii</author><pubDate>Tue, 16 May 2017 23:19:25 +0800</pubDate><description><![CDATA[1.什么是集群脑裂集群的脑裂通常是发生在集群中部分节点之间不可达而引起的（或者因为节点请求压力较大，导致其他节点与该节点的心跳检测不可用）。当上述情况发生时，不同分裂的小集群会自主的选择出master节点，造成原本的集群会同时存在多个master节点。2.elasticsearch集群的脑裂假设已经有安装好elasticsearch集群的三台机器:192.168.31.88 hadoop-maste]]></description><category></category></item><item><title><![CDATA[redis-cluster通用java接口]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/71369145</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/71369145</guid><author>CWeeYii</author><pubDate>Sun, 07 May 2017 20:38:32 +0800</pubDate><description><![CDATA[1.redis-cluster通过结合jedis和spring-data-redis包开发的一个简易方便的redis 集群访问接口。对于redis-cluster方式集群安装参照：http://blog.youkuaiyun.com/cweeyii/article/details/712989052 redis-cluster接口整个工程代码：https://github.com/cweeyii/redis-p]]></description><category></category></item><item><title><![CDATA[redis集群和安装]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/71298905</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/71298905</guid><author>CWeeYii</author><pubDate>Sat, 06 May 2017 20:52:29 +0800</pubDate><description><![CDATA[1.redis集群和常见集群的区别我们以elasticsearch集群架构方案和redis集群方案做对比分析，redis集群的优点。 
 
优点：因为redis是一个内存数据库，因此其采用无中心化的集群架构，使得与传统的中心节点转发的方式相比，其并发量和吞吐量都更大，并且不会因为中心节点压力过大影响集群的性能。redis cluster节点分配：假设我们有三个主节点分别是：A, B, C 三个节点，]]></description><category></category></item><item><title><![CDATA[elasticsearch查询语句篇]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/71076008</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/71076008</guid><author>CWeeYii</author><pubDate>Mon, 01 May 2017 22:44:08 +0800</pubDate><description><![CDATA[1.ElasticSearch基本概念elasticsearch基本概念见：https://es.xiaoleilu.com/010_Intro/05_What_is_it.html 
集群模式安装：http://blog.youkuaiyun.com/cweeyii/article/details/710558842. 重点概念
搜素类型（searchType) 
特别是你需要检索出满足条件的文档数量时，可以]]></description><category></category></item><item><title><![CDATA[elasticsearch原理篇]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/71069487</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/71069487</guid><author>CWeeYii</author><pubDate>Mon, 01 May 2017 19:58:37 +0800</pubDate><description><![CDATA[1.elasticsearch元素简介
node、replica和shard 
node表示elasticsearch集群中的一台虚拟机机器，其作用是提升分布式应用的容错性和可用性。其中每个虚拟机（节点）只有一个索引的所有shards的一部分。 
replica相对于数据的备份，其主要是表示一个索引的备份，其通过number_of_replicas来设置除主数据索引外，还有多少个备份索引。类似于数据]]></description><category></category></item><item><title><![CDATA[elasticsearch集群安装]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/71055884</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/71055884</guid><author>CWeeYii</author><pubDate>Mon, 01 May 2017 14:45:52 +0800</pubDate><description><![CDATA[1.假设已经准备了三台linux机器（可以采用虚拟机virtualbox安装，并且以桥接方式配置网络，使得三台linux机器都有不同的局域网ip）。在每台机器的/etc/hosts目录下配置域名映射关系192.168.31.71 mac1
192.168.31.112 mac2
192.168.31.12 mac32.下载elasticsearch安装包（注意最好不要下载最新版本，因为新版有些插件不]]></description><category></category></item><item><title><![CDATA[mysql的事务和锁]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/70991237</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/70991237</guid><author>CWeeYii</author><pubDate>Sat, 29 Apr 2017 22:56:23 +0800</pubDate><description><![CDATA[mysql的事务具有ACID的特性。]]></description><category></category></item><item><title><![CDATA[mysql可重复读和幻读实例]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/70991230</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/70991230</guid><author>CWeeYii</author><pubDate>Sat, 29 Apr 2017 22:54:27 +0800</pubDate><description><![CDATA[mysql的默认事务级别是：可重复读 
其中可重复读是通过mvcc来实现的又叫快照读，在事务中的读操作通过对当前的数据库中记录一个版本，以后的读操作只会读取记录的版本，因此相当于对数据库的数据建立了一个快照数据，因此叫做快照读，其不用对数据库中的数据进行加锁又叫做乐观锁。 
同时RR事务级别的mysql通当前读和gap锁来解决幻读，其本质是通过对数据库周边记录进行加悲观锁（读锁（共享锁）和互斥锁（写]]></description><category></category></item><item><title><![CDATA[分布式业务系统的一致性]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/70834890</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/70834890</guid><author>CWeeYii</author><pubDate>Thu, 27 Apr 2017 00:05:14 +0800</pubDate><description><![CDATA[单机系统因为业务的变更会使得整个系统越来越复杂，整个代码也越来庞大，基于业务的重新划分或者整个工程的重构会将一个单机系统划分多个分布式的系统。以前能够在一个单机事务的完成的操作（ACID）需要变成多个单机事务，同时需要一个中间协调组件来各个单机事务的一致性。对于强一致性要求分布式业务系统的操作能够同步的返回结果，要么成功（分布式事务提交），要么失败或者多次重试后还是超时（分布式事务回滚）。对于最终一]]></description><category></category></item><item><title><![CDATA[Java开发规范精要]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/70259932</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/70259932</guid><author>CWeeYii</author><pubDate>Thu, 20 Apr 2017 15:10:07 +0800</pubDate><description><![CDATA[1.命名规则
代码中的命名严禁使用拼音与英文混合的方式，更不允许直接使用中文的方式。
类名使用 UpperCamelCase 风格，必须遵从驼峰形式，但以下情形例外:(领域模型 的相关命名)DO / BO / DTO / VO等。 
正例:MarcoPolo / UserDO / XmlService / TcpUdpDeal / TaPromotion 
反例:macroPolo / UserDo]]></description><category></category></item><item><title><![CDATA[分布式中间件系统的一致性和可用性]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/70233933</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/70233933</guid><author>CWeeYii</author><pubDate>Tue, 18 Apr 2017 23:06:39 +0800</pubDate><description><![CDATA[对于单机系统和集中系统是指一台或多台主计算机组成的中心节点，并数据和业务处理逻辑都集中于这个中心节点上，客户端仅仅负责数据的录入和展示。集中式系统的最大优点就是部署简单，同时不需要考虑分布式系统的协作问题。1.单机系统的可用性和一致性（ACID)对于单机系统最主要的指标就是数据的一致性和可用性。其可以用ACID来度量一个系统的可用性和一致性。 
Atomicity原子性：一个事务中所有操作都必须全部]]></description><category></category></item><item><title><![CDATA[Spring对象生命周期控制]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/54236493</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/54236493</guid><author>CWeeYii</author><pubDate>Sun, 08 Jan 2017 20:18:26 +0800</pubDate><description><![CDATA[1.Spring中常用对象Spring框架中最常用对象有两个：BeanFactory和Bean。1.1 BeanFactoryBeanFactory作用是：保存所有bean名字、类型等和beanDefinition的映射关系，以及保存实力化后单例bean名字、类型等和bean对象的映射关系。其中MVC框架中有两个beanFactory：一个是保存业务对象@Service @Commpont等注解产生]]></description><category></category></item><item><title><![CDATA[分布式Hive环境安装]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/54236411</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/54236411</guid><author>CWeeYii</author><pubDate>Sun, 08 Jan 2017 20:01:58 +0800</pubDate><description><![CDATA[1.HIVE安装hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。所有首先需要安装分布式环境的hadoop程序（参考：http://bl]]></description><category></category></item><item><title><![CDATA[从零开始hadoop分布式环境搭建]]></title><link>https://blog.youkuaiyun.com/CWeeYii/article/details/54172900</link><guid>https://blog.youkuaiyun.com/CWeeYii/article/details/54172900</guid><author>CWeeYii</author><pubDate>Sat, 07 Jan 2017 12:51:18 +0800</pubDate><description><![CDATA[1. Linux虚机换机环境安装1.1 linux环境安装1.建议选择虚拟机:VirtualBox 
2.Linux版本：Ubuntu 
3.安装时选择动态扩展磁盘，最大磁盘容量50G(最大磁盘容量太小，hadoop使用过程中容易出现意想不到的的问题） 
4.网络选择桥接网卡（不要选择NAT，不然路由器不会为虚拟机分配独立的IP地址） 
5.安装增强功能开启双向开启共享剪切板 
6.安装用户使用同样]]></description><category></category></item></channel></rss>