<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[vim_wj的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/vim_wj</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; vim_wj]]></copyright><item><title><![CDATA[关于kafka Consumer参数:exclude.internal.topics]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/78840989</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/78840989</guid><author>vim_wj</author><pubDate>Tue, 19 Dec 2017 11:42:32 +0800</pubDate><description><![CDATA[之前对这个参数一直理解有误，彻底搞清楚后就写个笔记记录一下。(基于kafka1.0)

先看官方文档的解释：Whether records from internal topics (such as offsets) should be exposed to the consumer. If set to true the only way to receive records from an i...]]></description><category></category></item><item><title><![CDATA[github----向开源框架提交pr的过程]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/78300239</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/78300239</guid><author>vim_wj</author><pubDate>Fri, 20 Oct 2017 22:44:50 +0800</pubDate><description><![CDATA[github—-向开源框架提交pr关于github的入门介绍请参考这本书，比较详细：本文主要是根据自己在摸索提交pr的程中的一些总结。简单过程首先git分为本地仓库(自己电脑中)和远程仓库(git官网自己的账号中)，仓库可以理解为保存代码的地方，简单的说是在自己本地仓库修改代码，提交到自己远程仓库，提交pr后被接受后再会被合并到master。下面一步一步来。详细过程申请账号、添加ssh公钥等过程就不]]></description><category></category></item><item><title><![CDATA[Flink入门教程--File Systems(文件系统)]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/77980895</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/77980895</guid><author>vim_wj</author><pubDate>Thu, 14 Sep 2017 15:20:27 +0800</pubDate><description><![CDATA[原文链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/filesystems.html#file-systemsFlink通过org.apache.flink.core.fs.FileSystem类来抽象自己的文件系统，这个抽象提供了各类文件系统实现的通用操作和最低保证。此文件系统的可用操作非常有限，以支]]></description><category></category></item><item><title><![CDATA[Flink入门教程--Task Lifecycle(任务的生命周期简介)]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/77970114</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/77970114</guid><author>vim_wj</author><pubDate>Wed, 13 Sep 2017 19:42:49 +0800</pubDate><description><![CDATA[原文链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/task_lifecycle.html#task-lifecycle-1 
如有错误，请指正task是Flink中执行的基本单位，也是operator的每个并行实例被执行的地方。例如，并行度为5的operator ，其每个实例都由一个单独task执行。]]></description><category></category></item><item><title><![CDATA[Flink入门教程--Jobs and Scheduling(任务和调度)]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/77943541</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/77943541</guid><author>vim_wj</author><pubDate>Tue, 12 Sep 2017 11:49:43 +0800</pubDate><description><![CDATA[原谅链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/job_scheduling.html#jobs-and-scheduling该文档简单描述了Flink是如何调度Job的，以及如何在JobManager上表现并跟踪Job状态。调度Flink通过任务槽（Task Slot）定义执行资源，每个TaskM]]></description><category></category></item><item><title><![CDATA[Flink入门教程--Data Streaming Fault Tolerance(数据流容错)]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/77931546</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/77931546</guid><author>vim_wj</author><pubDate>Mon, 11 Sep 2017 11:43:52 +0800</pubDate><description><![CDATA[Data Streaming Fault Tolerance(数据流容错)原谅链接：https://ci.apache.org/projects/flink/flink-docs-release-1.3/internals/stream_checkpointing.html#data-streaming-fault-toleranceIntroduceApache Flink 提供了可以恢复数据流应]]></description><category></category></item><item><title><![CDATA[Flink入门教程--Component Stack]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/77931388</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/77931388</guid><author>vim_wj</author><pubDate>Mon, 11 Sep 2017 11:28:51 +0800</pubDate><description><![CDATA[作为一个软件解决方案，Flink是一个分层系统。不同层次之间彼此构建，并提高他们接受的程序表现的抽象级别：
在Runtime 层中接受JobGraph形式的程序。JobGraph是一个具有消耗和产生数据流的任意通用并行数据流。
DataStream API和DataSet API都能通过编译生成JobGraphs程序。DataSet API使用optimizer ，DataStream API使用s]]></description><category></category></item><item><title><![CDATA[认识bash shell]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/77196419</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/77196419</guid><author>vim_wj</author><pubDate>Tue, 15 Aug 2017 16:20:46 +0800</pubDate><description><![CDATA[认识bash shell（转自《鸟哥的Linux私房菜–基础篇》）文字模式 (command line) 这种指令下达的方式，在 Linux 里面，其实就相当于是 bash 的工具与接口！ 因为 Linux 就是以 bash 为预设的 shell 的！那么前几章我们都已经很快乐的进行了很多的指令下达啰～ 所以说， bash shell 根本就不难吧～是啦！只要能够熟悉的话，那么确实他也不是这么不可亲]]></description><category></category></item><item><title><![CDATA[Storm Window机制详解]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/75892966</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/75892966</guid><author>vim_wj</author><pubDate>Sun, 23 Jul 2017 11:15:47 +0800</pubDate><description><![CDATA[概念window 类型Tumbling Window按照固定的时间间隔或者Tuple数量划分窗口。例子一，按照固定时间滚动，5秒滚一个窗口：| e1 e2 | e3 e4 e5 e6 | e7 e8 e9 |...
0       5             10         15    -> time
|   w1  |    w2       |     w3   |...
例子二，按照固定]]></description><category></category></item><item><title><![CDATA[Trident exactly once实现原理]]></title><link>https://blog.youkuaiyun.com/vim_wj/article/details/75831677</link><guid>https://blog.youkuaiyun.com/vim_wj/article/details/75831677</guid><author>vim_wj</author><pubDate>Sun, 23 Jul 2017 09:48:06 +0800</pubDate><description><![CDATA[为了实现exactly-once，storm0.7.0开始支持transactional toplogy(事务topology)，也是微批处理架构，但目前已经不再维护(基本没有人用)，功能完全被trident所替代。准确的说，trident topology是从transactional topology的基本上发展而来，包括spout和state都延用的transactional topology]]></description><category></category></item></channel></rss>