<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zippo]]></title><description><![CDATA[大数据]]></description><link>https://blog.youkuaiyun.com/zipo</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zipo]]></copyright><item><title><![CDATA[flink checkpoint原理]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/107529343</link><guid>https://blog.youkuaiyun.com/zipo/article/details/107529343</guid><author>zipo</author><pubDate>Thu, 23 Jul 2020 10:13:35 +0800</pubDate><description><![CDATA[理想中的state管理

理想的状态管理是：
	易用，flink提供了丰富的数据结构，简洁易用的接口；
		高效，flink对状态的处理读写快，可以横向扩展，保存状态不影响计算性能；
		可靠，flink对状态可以做持久化，而且可以保证exactly-once语义；
	
flink中checkpoint执行流程

checkpoint机制是Flink可靠性的基石，可以保证Flink集群在某个算子因为某些原因(如 异常退出)出现故障时，能够将整个应用流图的状态恢复到故障之前的某一状态，保 证应用流图状态的一致]]></description><category></category></item><item><title><![CDATA[Hbase伪分布式安装]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/91346854</link><guid>https://blog.youkuaiyun.com/zipo/article/details/91346854</guid><author>zipo</author><pubDate>Sat, 08 Jun 2019 20:21:24 +0800</pubDate><description><![CDATA[因要安装pinpoint1.8.3所有需要安装hbase，因为是测试所有就安装一个伪分布式吧。

hbase安装需要hdfs，先来安装一下hadoop吧。

http://naver.github.io/pinpoint/1.8.3/main.html



我们需要hbase1.2.6版本，hadoop需要2.7.3先下载

wgethttp://apache.claz.org/hadoop/...]]></description><category></category></item><item><title><![CDATA[运行时异常和非运行时异常]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/88525281</link><guid>https://blog.youkuaiyun.com/zipo/article/details/88525281</guid><author>zipo</author><pubDate>Wed, 13 Mar 2019 09:54:52 +0800</pubDate><description><![CDATA[1. 【强制】Java 类库中定义的可以通过预检查方式规避的RuntimeException异常不应该通过catch 的方式来处理，比如：NullPointerException，IndexOutOfBoundsException等等。 说明：无法通过预检查的异常除外，比如，在解析字符串形式的数字时，不得不通过catch NumberFormatException来实现。 正例：if (...]]></description><category></category></item><item><title><![CDATA[彻底解决SLF4J: Class path contains multiple SLF4J bindings.]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/84580968</link><guid>https://blog.youkuaiyun.com/zipo/article/details/84580968</guid><author>zipo</author><pubDate>Wed, 28 Nov 2018 11:13:12 +0800</pubDate><description><![CDATA[

springboot项目跑起来后，一直报SLF4J包冲突，看着很烦。

Connected to the target VM, address: '127.0.0.1:64448', transport: 'socket'
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:...]]></description><category></category></item><item><title><![CDATA[官网中关于Redis + Sentinel主从切换的一些说明]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/82959154</link><guid>https://blog.youkuaiyun.com/zipo/article/details/82959154</guid><author>zipo</author><pubDate>Sun, 07 Oct 2018 16:37:44 +0800</pubDate><description><![CDATA[  在redis官网中关于redis + Sentinel主从切换的一些说明，主从切换会丢失数据，无论用何种持久化方式都无法保证主从数据强一致性。

 



     在每个Sentinel设置里，redis数据复制是异步的，总是会有丢失写入数据的风险，因为一个确认写入的数据不能到达新的master。就如上面的设置，有很大的风险，由于客户端分区在老的master里。如图所示。

    在这个案...]]></description><category></category></item><item><title><![CDATA[解决dubbo中遇到HessianProtocolException: 'xxxException' could not be instantiated的问题]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/82959012</link><guid>https://blog.youkuaiyun.com/zipo/article/details/82959012</guid><author>zipo</author><pubDate>Sun, 07 Oct 2018 16:24:39 +0800</pubDate><description><![CDATA[   在项目中遇到dubbo的consumer无法捕获到provider的自定义异常的问题，HessianProtocolException: 'xxxxException' could not be instantiated。

com.alibaba.com.caucho.hessian.io.HessianProtocolException: 'xxxxException' could no...]]></description><category></category></item><item><title><![CDATA[spring @vaule获取不到值]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/81351056</link><guid>https://blog.youkuaiyun.com/zipo/article/details/81351056</guid><author>zipo</author><pubDate>Thu, 02 Aug 2018 01:00:53 +0800</pubDate><description><![CDATA[    1）当SpringMVC与Spring整合使用的时候，在Controller中无法获取@Value对应的值。（刚开始我就是这种情况，，，，）

         产生原因： 只在applicationContext中添加了扫描，没有在SpringMVC对应的配置文件中扫描。

         applicationContext加载的是父容器,，父容器在项目启动的时候就被加载了。Spri...]]></description><category></category></item><item><title><![CDATA[解决dubbo  HessianProtocolException: 'xxxx' could not be instantiated]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/81106604</link><guid>https://blog.youkuaiyun.com/zipo/article/details/81106604</guid><author>zipo</author><pubDate>Wed, 18 Jul 2018 22:38:15 +0800</pubDate><description><![CDATA[解决了在sso项目中遇到dubbo的comsuer无法捕捉到provider的自定义异常的问题。

com.alibaba.com.caucho.hessian.io.HessianProtocolException: 'com.xxxx.opensso.utils.SSOException' could not be instantiated
at com.alibaba.com.caucho....]]></description><category></category></item><item><title><![CDATA[reactor模式透彻理解和难点解析]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/78215077</link><guid>https://blog.youkuaiyun.com/zipo/article/details/78215077</guid><author>zipo</author><pubDate>Thu, 12 Oct 2017 15:05:06 +0800</pubDate><description><![CDATA[网上reactor模式的解析文章很多，但是都很范范，看了以后感觉理解的还是很模糊。
图片待传



今天遇到一个问题：
Initiation Dispatcher根据handle选择Event handler的，为什么调用select (handlers);？
首先handle不等于type，handle是fd(socket打开的描述符)
Initiation Dispatcher]]></description><category></category></item><item><title><![CDATA[EPOLL内核源代码实现原理分析]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/78148438</link><guid>https://blog.youkuaiyun.com/zipo/article/details/78148438</guid><author>zipo</author><pubDate>Sun, 01 Oct 2017 19:17:58 +0800</pubDate><description><![CDATA[epoll的实现主要依赖于一个迷你文件系统：eventpollfs。此文件系统通过eventpoll_init初始化。在初始化的过程中，eventpollfs
 create两个slub分别是：epitem和eppoll_entry。
epoll使用过程中有几个基本的函数分别是epoll_create，epoll_ctl，epoll_wait。涉及到四个重要的数据结构： struct
 ev]]></description><category></category></item><item><title><![CDATA[堆内存和堆外内存]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/78114936</link><guid>https://blog.youkuaiyun.com/zipo/article/details/78114936</guid><author>zipo</author><pubDate>Wed, 27 Sep 2017 17:08:27 +0800</pubDate><description><![CDATA[HeapByteBuffer与DirectByteBuffer，在原理上，前者可以看出分配的buffer是在heap区域的，其实真正flush到远程的时候会先拷贝得到直接内存，再做下一步操作（考虑细节还会到OS级别的内核区直接内存），其实发送静态文件最快速的方法是通过OS级别的send_file，只会经过OS一个内核拷贝，而不会来回拷贝；在NIO的框架下，很多框架会采用DirectByteBuff]]></description><category></category></item><item><title><![CDATA[linux下Epoll模式]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/78084575</link><guid>https://blog.youkuaiyun.com/zipo/article/details/78084575</guid><author>zipo</author><pubDate>Mon, 25 Sep 2017 14:16:50 +0800</pubDate><description><![CDATA[Linux Epoll介绍和程序实例
1. Epoll是何方神圣？
Epoll可是当前在Linux下开发大规模并发网络程序的热门人选，Epoll 在Linux2.6内核中正式引入，和select相似，其实都I/O多路复用技术而已，并没有什么神秘的。
其实在Linux下设计并发网络程序，向来不缺少方法，比如典型的Apache模型（Process Per Connection，简称PPC），TP]]></description><category></category></item><item><title><![CDATA[Nio总结之Selector]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/78081009</link><guid>https://blog.youkuaiyun.com/zipo/article/details/78081009</guid><author>zipo</author><pubDate>Sun, 24 Sep 2017 23:33:34 +0800</pubDate><description><![CDATA[Selector（选择器）是Java NIO中能够检测一到多个NIO通道，并能够知晓通道是否为诸如读写事件做好准备的组件。这样，一个单独的线程可以管理多个channel，从而管理多个网络连接。selector是实现多路复用调用linux的epoll关键。
 public static Selector open() throws IOException {
        return Sele]]></description><category></category></item><item><title><![CDATA[Nio总结之Channel与Buffer]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/78067385</link><guid>https://blog.youkuaiyun.com/zipo/article/details/78067385</guid><author>zipo</author><pubDate>Fri, 22 Sep 2017 22:01:34 +0800</pubDate><description><![CDATA[java nio 三大基本组件Channel、Buffer、Selector，三大组件的关系，channel下面是buffer。
在java nio中，我们是面向块(block)或是缓冲区（buffer）编程的。buffer本身就是一块内存，底层实现上，它实际上是个数组。数据的读、写都通过buffer来实现的。

channel是通道的含义，数据不可以直接在channel处理，必须把数据读取]]></description><category></category></item><item><title><![CDATA[为什么Eureka比ZooKeeper更适合做服务发现？]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/60588647</link><guid>https://blog.youkuaiyun.com/zipo/article/details/60588647</guid><author>zipo</author><pubDate>Mon, 06 Mar 2017 19:27:41 +0800</pubDate><description><![CDATA[Eureka的优势
1、在Eureka平台中，如果某台服务器宕机，Eureka不会有类似于ZooKeeper的选举leader的过程；客户端请求会自动切换到新的Eureka节点；当宕机的服务器重新恢复后，Eureka会再次将其纳入到服务器集群管理之中；而对于它来说，所有要做的无非是同步一些新的服务注册信息而已。所以，再也不用担心有“掉队”的服务器恢复以后，会从Eureka服务器集群中剔除出去的风]]></description><category></category></item><item><title><![CDATA[十九、Hive日志分析案例一]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/56679957</link><guid>https://blog.youkuaiyun.com/zipo/article/details/56679957</guid><author>zipo</author><pubDate>Thu, 23 Feb 2017 20:35:03 +0800</pubDate><description><![CDATA[﻿﻿
按照每日，省份统计pv和uv，date
 province UV PV

建立hive数据库及数据表
  



2.数据导入







建hive的db_track.daily_province_visit的表




导入
insert into table db_track.daily_province_visit select dat]]></description><category></category></item><item><title><![CDATA[十八、Hive 中UDF编程]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/56679110</link><guid>https://blog.youkuaiyun.com/zipo/article/details/56679110</guid><author>zipo</author><pubDate>Thu, 23 Feb 2017 19:58:17 +0800</pubDate><description><![CDATA[﻿﻿
依据课程中讲解的如何自定义 UDF，进行案例编写，进行总结步骤，并完成额外需求，具体说明如下： 1）
 依据课程讲解 UDF 编程案例，完成练习，总结开发 UDF 步骤，代码贴图，
给予注释，重点在于清晰编程思路。 2） 完成如下数据字段中双引号，自定义 UDF，完成编程测试。

新建maven项目。配置pom.xml
 properties>
   project.build]]></description><category></category></item><item><title><![CDATA[十七、Hive 表数据加载、导出、查询]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/55222511</link><guid>https://blog.youkuaiyun.com/zipo/article/details/55222511</guid><author>zipo</author><pubDate>Wed, 15 Feb 2017 20:35:52 +0800</pubDate><description><![CDATA[1.使用 load 方式加载数据到 Hive 表中，注意分区表加载数据的特殊性
CREATE TABLE IF NOT EXISTS    myinfo (id string, name string, city string) PARTITIONED BY (day string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STO]]></description><category></category></item><item><title><![CDATA[十六、Hive 表的创建及测试]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/55004079</link><guid>https://blog.youkuaiyun.com/zipo/article/details/55004079</guid><author>zipo</author><pubDate>Sun, 12 Feb 2017 20:09:21 +0800</pubDate><description><![CDATA[一、Hive 中创建表的三种方式，应用场景说明
第一种














第二种




第三种




二、内部表和外部表的区别
内部表也称之为MANAGED_TABLE;
默认存储在/usr/hive/warehouse下，也可以通过location指定。
删除表时，会删除表数据以及元数据。
外部表也称之为EXTERNAL_]]></description><category></category></item><item><title><![CDATA[十五、Hive 安装部署及测试]]></title><link>https://blog.youkuaiyun.com/zipo/article/details/55002162</link><guid>https://blog.youkuaiyun.com/zipo/article/details/55002162</guid><author>zipo</author><pubDate>Sun, 12 Feb 2017 16:36:18 +0800</pubDate><description><![CDATA[一、Hive 如何配置与 Hadoop 关联，进行创建表，加载数据测试
Hive解压并修改名称，配置hive-env.sh的hadoop_home与HIVE_CONF_DIR








创建表，加载数据





二、在 Linux 下安装 MySQL 数据库
1、解压mysql 5.6.27





2、查看是否已经安装mysql，如未查询到]]></description><category></category></item></channel></rss>