<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[jingqiang521的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/jingqiang521</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; jingqiang521]]></copyright><item><title><![CDATA[设计模式]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/77653766</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/77653766</guid><author>jingqiang521</author><pubDate>Mon, 28 Aug 2017 20:27:19 +0800</pubDate><description><![CDATA[Java开发中的23种设计模式详解(转)
http://www.cnblogs.com/maowang1991/archive/2013/04/15/3023236.html]]></description><category></category></item><item><title><![CDATA[Linux日志文件总管——logrotate]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/62044959</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/62044959</guid><author>jingqiang521</author><pubDate>Tue, 14 Mar 2017 16:22:06 +0800</pubDate><description><![CDATA[日志文件包含了关于系统中发生的事件的有用信息，在排障过程中或者系统性能分析时经常被用到。对于忙碌的服务器，日志文件大小会增长极快，服务器会很快消耗磁盘空间，这成了个问题。除此之外，处理一个单个的庞大日志文件也常常是件十分棘手的事。



logrotate是个十分有用的工具，它可以自动对日志进行截断（或轮循）、压缩以及删除旧的日志文件。例如，你可以设置logrotate，让/var/log]]></description><category></category></item><item><title><![CDATA[java CRC16算法，分解一个大Key实例。和各种hash算法代码]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/60957106</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/60957106</guid><author>jingqiang521</author><pubDate>Thu, 09 Mar 2017 11:33:29 +0800</pubDate><description><![CDATA[[java] view
 plain copy


 



package org.rui.hi;  
  
/** 
 * 测试： 解决场景:把1亿的用户 存储在一个队列里，过大。用sharding 摸拟redis 集群 sharding Redis 
 * 集群使用数据分片（sharding）而非一致性哈希（consistency hashing）来实现： 一个 Re]]></description><category></category></item><item><title><![CDATA[flume与kafka整合]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/59147202</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/59147202</guid><author>jingqiang521</author><pubDate>Wed, 01 Mar 2017 21:14:42 +0800</pubDate><description><![CDATA[flume与kafka整合

前提：


flume安装和测试通过，可参考：http://www.cnblogs.com/rwxwsblog/p/5800300.html

kafka安装和测试通过，可参考：http://www.cnblogs.com/rwxwsblog/p/5800224.html


在上诉条件满足的情况下才能进行flume和kafka的整合。

fl]]></description><category></category></item><item><title><![CDATA[Flume+Kafka+Sparkstreaming日志分析]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56915923</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56915923</guid><author>jingqiang521</author><pubDate>Fri, 24 Feb 2017 22:07:54 +0800</pubDate><description><![CDATA[最近要做一个日志实时分析的应用，采用了flume+kafka+sparkstreaming框架，先搞了一个测试Demo，本文没有分析其架构原理。

　　简介：flume是一个分布式，高可靠，可用的海量日志聚合系统，kafka是一高吞吐量的分布式发布订阅系统，sparkstreaming是建立在spark上的实时计算框架，这这个Demo中，以上内容均为单机版伪分布，flume的source为ex]]></description><category></category></item><item><title><![CDATA[Flume+HBase采集和存储日志数据]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56913616</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56913616</guid><author>jingqiang521</author><pubDate>Fri, 24 Feb 2017 22:01:04 +0800</pubDate><description><![CDATA[前言


大数据时代，谁掌握了足够的数据，谁就有可能掌握未来，而其中的数据采集就是将来的流动资产积累。

几乎任何规模企业，每时每刻也都在产生大量的数据，但这些数据如何归集、提炼始终是一个困扰。而大数据技术的意义确实不在于掌握规模庞大的数据信息，而在于对这些数据进行智能处理，从中分析和挖掘出有价值的信息，但前提是如何获取大量有价值的数据。




在最近的工作当中，本人刚好实现]]></description><category></category></item><item><title><![CDATA[实战Apache-Flume采集DB数据到kafka]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56675505</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56675505</guid><author>jingqiang521</author><pubDate>Thu, 23 Feb 2017 16:38:16 +0800</pubDate><description><![CDATA[Flume是一个优秀的数据采集组件，有些重量级，其本质也是根据SQL语句的查询结果组装成opencsv格式的数据，默认的分隔符号是逗号(，)，可以重写opencsv某些类进行修改

 

1、下载

[root@hadoop0 bigdata]# wget  http://apache.fayea.com/flume/1.6.0/apache-flume-1.6.0-bin.tar.g]]></description><category></category></item><item><title><![CDATA[基于flume-ng抓取mysql数据到kafka]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56675307</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56675307</guid><author>jingqiang521</author><pubDate>Thu, 23 Feb 2017 16:30:53 +0800</pubDate><description><![CDATA[flume是一个日志收集器，更多详细的介绍可以参照官网:http://flume.apache.org/

 

在apache flume的官网上没有找到sql数据源数据抓取的source，

可以利用github上的plugin插件:https://github.com/keedio/flume-ng-sql-source,1.4.3版本基于hibernate实现，已可以适配所有的]]></description><category></category></item><item><title><![CDATA[Apache Flume 1.6.0 用户指南]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56671486</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56671486</guid><author>jingqiang521</author><pubDate>Thu, 23 Feb 2017 16:02:40 +0800</pubDate><description><![CDATA[引言


概述

Apache Flume是一个分布式的、可靠的、易用的系统，可以有效地将来自很多不同源系统的大量日志数据收集、汇总或者转移到一个数据中心存储。

Apache Flume的作用不仅限于日志汇总，因为数据源是可以自定义的，Flume也可以被用于传输大量的事件数据，包括但不限于网络流量数据、社交媒体产生的数据、电子邮件和几乎所有可能的数据源。

Apache Flu]]></description><category></category></item><item><title><![CDATA[Flume入门教程]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56504124</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56504124</guid><author>jingqiang521</author><pubDate>Wed, 22 Feb 2017 21:57:15 +0800</pubDate><description><![CDATA[Flume 简介

Flume 作为 cloudera 开发的实时日志收集系统，受到了业界的认可与广泛应用。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0]]></description><category></category></item><item><title><![CDATA[nginx.conf中关于nginx-rtmp-module配置指令详解]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56495516</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56495516</guid><author>jingqiang521</author><pubDate>Wed, 22 Feb 2017 20:01:07 +0800</pubDate><description><![CDATA[译序：截至 Jul 8th,2013 官方公布的最新 Nginx RTMP 模块 nginx-rtmp-module 指令详解。
指令
Core
rtmp
语法：rtmp { ... }
上下文：根
描述：保存所有 RTMP 配置的块。
server
语法：server { ... }
上下文：rtmp
描述：声明一个 RTMP 实例。
rtmp {
  server {]]></description><category></category></item><item><title><![CDATA[Wowza服务器]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56489026</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56489026</guid><author>jingqiang521</author><pubDate>Wed, 22 Feb 2017 16:57:54 +0800</pubDate><description><![CDATA[Wowza是java开发的企业级流媒体服务器,可能需要官方的licence。暂做记录,不做研究]]></description><category></category></item><item><title><![CDATA[一个直播例子：快速集成iOS基于RTMP的视频推流]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56488710</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56488710</guid><author>jingqiang521</author><pubDate>Wed, 22 Feb 2017 16:40:25 +0800</pubDate><description><![CDATA[效果图
iTools有点卡, 但是推到服务器倒是很快的.




推流


前言
这篇blog是iOS视频直播初窥:的一个补充.
 因为之前传到github上的项目中没有集成视频的推流.有很多朋友简信和微博上问我推流这部分怎么实现的.
 所以, 我重新集成了RTMP的推流, 合并到了之前的项目中.

下载链接
github(完整版视频直播)
blog详解(建议大家结]]></description><category></category></item><item><title><![CDATA[missian(4)使用异步客户端]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56487228</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56487228</guid><author>jingqiang521</author><pubDate>Wed, 22 Feb 2017 16:25:03 +0800</pubDate><description><![CDATA[重要：Missian刚刚更新到0.31，新增了Future风格的回调方式。

 

Missian没有绑定spring，但是强烈推荐配合spring一起使用。异步客户端由于需要调用BeanLocator去寻找回调的 Bean，如果配合Spring使用，可以直接使用SpringLocator(BeanLocator的唯一实现)，否则需要自己实现。

 

使用异步客户端需要注意一点：]]></description><category></category></item><item><title><![CDATA[missian(3)同步客户端]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56487060</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56487060</guid><author>jingqiang521</author><pubDate>Wed, 22 Feb 2017 15:56:36 +0800</pubDate><description><![CDATA[同步客户端比较简单，它具备以下能力：

 

1、同步调用Missian服务（通过HTTP或TCP均可）

2、同步调用Hessian服务

3、使用短连接。作者本人的经验是，在网络通信时，使用短连接比较简单，在一个机柜或者机房内的通信，可以考虑短连接。

4、使用连接池，保持长连接。

 

我们先来看看Missian的同步客户端是怎么工作的。

 

步骤一]]></description><category></category></item><item><title><![CDATA[missian(2)配置服务器]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56486946</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56486946</guid><author>jingqiang521</author><pubDate>Wed, 22 Feb 2017 15:54:14 +0800</pubDate><description><![CDATA[在使用Missian时，spring是可选的，但是作者本人强烈推荐和Spring配合使用。Spring是一个伟大的项目，并且它不会对程序在运行时的效率带来任何损耗。

 

Missian在服务器端依赖与Mina，Missian只是提供一个Codec（协议编码解码，兼容TCP和HTTP）和一个Handler（调用Hessian序列化机制来反序列化数据、使用BeanLocator来定位这次调]]></description><category></category></item><item><title><![CDATA[missian(1)]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56486826</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56486826</guid><author>jingqiang521</author><pubDate>Wed, 22 Feb 2017 15:51:04 +0800</pubDate><description><![CDATA[missian是什么

 

hessian（hessian over mina）是一个基于HTTP的优秀的、高效的RPC框架，而missian可以理解为：基于mina对hessian进行扩展，使之：


1、具备异步RPC能力，但同时也提供了同步的客户端，和hessian完全兼容

2、能够在TCP之上传输，省掉了HTTP编码解码的过程，但是同事也支持HTTP协议，意味着hes]]></description><category></category></item><item><title><![CDATA[Hessian学习(1)]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56486401</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56486401</guid><author>jingqiang521</author><pubDate>Wed, 22 Feb 2017 15:34:26 +0800</pubDate><description><![CDATA[hessian是一个采用二进制格式传输的服务框架，相对传统soap web service，更轻量，更快速。官网地址：http://hessian.caucho.com/

目前已经支持N多语言，包括：Java/c#/flex/PHP/ruby...

maven的依赖项如下：

1 dependency>
2     groupId>com.cauchogroupId>
3     ]]></description><category></category></item><item><title><![CDATA[Netty4.x中文教程系列(五) 从头开始Bootstrap]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56038084</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56038084</guid><author>jingqiang521</author><pubDate>Mon, 20 Feb 2017 21:51:01 +0800</pubDate><description><![CDATA[其实自从中文教程系列（五）一直不知道自己到底想些什么。加上忙着工作上出现了一些问题。本来想就这么放弃维护了。没想到有朋友和我说百度搜索推荐了我的文章。瞬间有点小激动啊。决定自己要把这个教程系列完善下去。这里诚挚的想支持我的盆友们道歉。真的是让你们失望了。我居然有想放弃的这种丧心病狂的念头。以后绝对不会了。

    

    其实伴随着对Netty的逐步深入学习。感觉自己对netty的了]]></description><category></category></item><item><title><![CDATA[Netty4.x中文教程系列(四)编解码器Codec]]></title><link>https://blog.youkuaiyun.com/jingqiang521/article/details/56038059</link><guid>https://blog.youkuaiyun.com/jingqiang521/article/details/56038059</guid><author>jingqiang521</author><pubDate>Mon, 20 Feb 2017 21:49:28 +0800</pubDate><description><![CDATA[上一篇文章详细解释了ChannelHandler的相关构架设计，版本和设计逻辑变更等等。

    这篇文章主要在于讲述Handler里面的Codec，也就是相关的编解码器。原本想把编解码器写在上一篇文章里面的。后来想想Netty里面的编解码器太多了。想要一次写完比较困难。于是重新开了一篇文章来专门写这个。

1.     Hello World ！实例中的使用

　　在这里先讲一下我]]></description><category></category></item></channel></rss>