<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[忘掉地平线]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/aubdiy</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; aubdiy]]></copyright><item><title><![CDATA[StreamingFileSink fails due to truncating HDFS file failure]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/122941621</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/122941621</guid><author>aubdiy</author><pubDate>Tue, 15 Feb 2022 16:41:12 +0800</pubDate><description><![CDATA[[FLINK-18592][Connectors/FileSystem] StreamingFileSink fails due to truncating
我这里产生这个问题过程如下:
环境描述:
flink 12.2.2
hdfs 3.1.1, 集群, 2 个 namenode, 8 个 datanode,  设置为 2 副本
yarn 3.1.1
fink on yarn 方式部署
问题发生过程

某个 DATANODE  挂掉/重启/负载过高(datanode 上部署了 HBASE, scan 时导]]></description><category></category></item><item><title><![CDATA[flink keyby 分布不均匀问题]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/114897750</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/114897750</guid><author>aubdiy</author><pubDate>Tue, 16 Mar 2021 20:04:44 +0800</pubDate><description><![CDATA[背景
flink 从 kafka 读取数据, 经过 keyby,  然后使用 .timeWindow(Time.seconds(1)) 每秒处理一次数据, 为了根据并行度, 均匀的分布 到 flink 同一个窗口算子的不同的 subtask 上, key 使用了随机整数
dataStream.map(
        new MapFunction&lt;String, Tuple2&lt;Integer, String&gt;&gt;() {
            @Override
         ]]></description><category></category></item><item><title><![CDATA[IntelliJ IDEA 常用配置]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/78855890</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/78855890</guid><author>aubdiy</author><pubDate>Wed, 20 Dec 2017 17:51:38 +0800</pubDate><description><![CDATA[模板配置
  Preferences -> Appearance & Behavior -> Appearance -> Theme选择 Darcula （黑色）
文件编码修改
  Preferences -> Editor -> File EncodingsGlobal Encoding 选择 UTF-8
Project Encoding 选择 UTF-8
Properties Files(*.p]]></description><category></category></item><item><title><![CDATA[duird.io  支持不同版本的 hadoop]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/78270195</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/78270195</guid><author>aubdiy</author><pubDate>Wed, 18 Oct 2017 10:37:18 +0800</pubDate><description><![CDATA[duird.io  支持不同版本的 hadoop]]></description><category></category></item><item><title><![CDATA[nginx 配置备忘]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/78183115</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/78183115</guid><author>aubdiy</author><pubDate>Mon, 09 Oct 2017 15:32:22 +0800</pubDate><description><![CDATA[nginx 配置备忘]]></description><category></category></item><item><title><![CDATA[druid.io 集成 hadoop 问题解决 /hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/74529694</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/74529694</guid><author>aubdiy</author><pubDate>Thu, 06 Jul 2017 11:08:01 +0800</pubDate><description><![CDATA[druid.io 集成 hadoop 问题解决 /hdp/apps/${hdp.version}/mapreduce/mapreduce.tar.gz#mr-framework]]></description><category></category></item><item><title><![CDATA[airflow 解决安装问题 OSError: [Errno 2] No such file or directory]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/73930865</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/73930865</guid><author>aubdiy</author><pubDate>Fri, 30 Jun 2017 09:33:19 +0800</pubDate><description><![CDATA[airflow 启动报错 OSError: [Errno 2] No such file or directory]]></description><category></category></item><item><title><![CDATA[去掉IntelliJ IDEA 中 mybatis 对应的 xml 文件警告]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/68485336</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/68485336</guid><author>aubdiy</author><pubDate>Thu, 30 Mar 2017 12:45:16 +0800</pubDate><description><![CDATA[IntelliJ IDEA  打开 mybatis 的 xml 文件时，对应的 xml 文件中 sql 语句背景色总是有黄色或绿色的背景色。提示（红圈处）上已经说明，需要配置在 IDEA 中配置 data]]></description><category></category></item><item><title><![CDATA[nGrinder 的 Groovy 脚本使用指南（HTTP 请求详解）]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/62045651</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/62045651</guid><author>aubdiy</author><pubDate>Tue, 14 Mar 2017 16:57:01 +0800</pubDate><description><![CDATA[请确定您已经了解了 nGrinder 的 Groovy 脚本结构：nGrinder 的 Groovy 脚本使用指南（Groovy 脚本结构） 
在 nGrinder 上创建 Groovy 脚本时，会自动生成一个基础的脚本，让我们将其拆分说明import HTTPClient.Cookie
import HTTPClient.CookieModule
import HTTPClient.HTTPRes]]></description><category></category></item><item><title><![CDATA[nGrinder 的 Groovy 脚本使用指南（导入 Groovy Maven 工程到 IntelliJ）]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/61923409</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/61923409</guid><author>aubdiy</author><pubDate>Mon, 13 Mar 2017 18:00:53 +0800</pubDate><description><![CDATA[打开 Intellij ,选择 “Check out from Version Control”， 点击 “Subversion” 点击 “+” 按钮，输入 Groovy 的 Maven 工程在 nGrinder 中的地址，点击 “OK”, 完成仓库创建 选择相应的仓库，点击“Check out”按钮，按提示选择相应的文件夹、和 JVM 版本，完成工程导入 
 运行 TestRunner 会报错
j]]></description><category></category></item><item><title><![CDATA[nGrinder 的 Groovy 脚本使用指南（Groovy maven 结构）]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/61921905</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/61921905</guid><author>aubdiy</author><pubDate>Mon, 13 Mar 2017 17:08:04 +0800</pubDate><description><![CDATA[当你创建脚本时，如果你选择使用 Groovy 脚本，除了 JUnit 方式测试外，它将类似于 Jython 脚本那样执行。如果你不仅想使用 Groovy 而且还要在 IDE 中执行 JUnit，同时又能简单的配置依赖，你可以选择先创建一个 Groovy 的 Maven 项目。 当你第一次运行 Groovy 的 Maven 项目时，可能需要一些时间运行测试。
这是因为 Maven 项目需要从 Mave]]></description><category></category></item><item><title><![CDATA[nGrinder 的 Groovy 脚本使用指南（Groovy 脚本结构）]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/61918161</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/61918161</guid><author>aubdiy</author><pubDate>Mon, 13 Mar 2017 15:10:59 +0800</pubDate><description><![CDATA[与Jython脚本不同，Groovy 脚本结构是基于JUnit的。原因是我们想尽可能的重用现有的 JUnit 经验。几个 IDE 已经集成了 JUnit 而且可以让用户直接运行测试用例。先来看一个基础的 Groovy 脚本模板import static net.grinder.script.Grinder.grinder
import static org.junit.Assert.*
import]]></description><category></category></item><item><title><![CDATA[nGrinder 架构简介]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/61196177</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/61196177</guid><author>aubdiy</author><pubDate>Fri, 10 Mar 2017 17:40:01 +0800</pubDate><description><![CDATA[nGrinder 架构简介 
nGrinder 的 Groovy 脚本使用指南（Groovy 脚本结构） 
nGrinder 的 Groovy 脚本使用指南（Groovy maven 结构） 
nGrinder 的 Groovy 脚本使用指南（导入 Groovy Maven 工程到 IntelliJ） 
nGrinder 的 Groovy 脚本使用指南（HTTP 请求详解）nGrinderr(ver]]></description><category></category></item><item><title><![CDATA[jedis 的 Unexpected end of stream 解决方案]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/53511410</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/53511410</guid><author>aubdiy</author><pubDate>Wed, 07 Dec 2016 22:30:56 +0800</pubDate><description><![CDATA[jedis 的 Unexpected end of stream 解决方案

redis服务端版本号：2.8.X
Jedis客户端版本号：2.8.1
单线程、无并发操作

Jedis单链接、JedisPool、ShardedJedisPool，无论使用哪一种方式对redis服务进行操作，均出现了Unexpected end of stream的问题。]]></description><category></category></item><item><title><![CDATA[logback 中文手册]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/51524275</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/51524275</guid><author>aubdiy</author><pubDate>Sat, 28 May 2016 12:11:39 +0800</pubDate><description><![CDATA[logback 常用配置详解（序）logback 简介

logback 常用配置详解（一） and 

logback 常用配置详解（二）

logback 常用配置详解（三）

 

配合着手册看以上配置系列文章，相信大家会理解更深

 

logback 中文手册

此中文手册为官网手册中文版

文档版本         0.1

发布日期      ]]></description><category></category></item><item><title><![CDATA[logback logback.xml常用配置详解（三） <filter>]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/51523220</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/51523220</guid><author>aubdiy</author><pubDate>Sat, 28 May 2016 08:01:54 +0800</pubDate><description><![CDATA[详细整理了logback常用配置，不是官网手册的翻译版，而是使用总结，旨在更快更透彻的理解其配置




logback 常用配置详解（序）logback 简介

logback 常用配置详解（一） and 

logback 常用配置详解（二）

logback 常用配置详解（三）

logback 中文手册 （官网手册的翻译版，在这里向中文版译者-陈华，说声辛苦啦）]]></description><category></category></item><item><title><![CDATA[logback logback.xml常用配置详解（二）<appender>]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/51523214</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/51523214</guid><author>aubdiy</author><pubDate>Sat, 28 May 2016 07:54:25 +0800</pubDate><description><![CDATA[logback 常用配置详解系列


详细整理了logback常用配置，不是官网手册的翻译版，而是使用总结，旨在更快更透彻的理解其配置




logback 常用配置详解（序）logback 简介

logback 常用配置详解（一） and 

logback 常用配置详解（二）

logback 常用配置详解（三）

logback 中文手册 （官网手册的翻译]]></description><category></category></item><item><title><![CDATA[logback常用配置详解（一）<configuration> and <logger>]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/51523205</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/51523205</guid><author>aubdiy</author><pubDate>Sat, 28 May 2016 07:49:17 +0800</pubDate><description><![CDATA[logback logback.xml常用配置详解详细整理了logback常用配置， 
不是官网手册的翻译版，而是使用总结，旨在更快更透彻的理解其配置 
logback 常用配置详解（序）logback 简介 
logback 常用配置详解（一）<configuration> and <logger> 
logback 常用配置详解（二）<appender> 
logback 常用配置详解（三）<f]]></description><category></category></item><item><title><![CDATA[logback 常用配置详解（序）logback 简介]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/51523188</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/51523188</guid><author>aubdiy</author><pubDate>Sat, 28 May 2016 07:23:40 +0800</pubDate><description><![CDATA[logback 常用配置详解系列详细整理了logback常用配置， 
不是官网手册的翻译版，而是使用总结，旨在更快更透彻的理解其配置 
logback 常用配置详解（序）logback 简介 
logback 常用配置详解（一）<configuration> and <logger> 
logback 常用配置详解（二）<appender> 
logback 常用配置详解（三）<filter> 
l]]></description><category></category></item><item><title><![CDATA[Java 加密解密之对称加密算法PBE]]></title><link>https://blog.youkuaiyun.com/aubdiy/article/details/51520448</link><guid>https://blog.youkuaiyun.com/aubdiy/article/details/51520448</guid><author>aubdiy</author><pubDate>Fri, 27 May 2016 23:38:18 +0800</pubDate><description><![CDATA[Java加密解密系列
Java 加密解密基础
Java byte数组与十六进制字符串互转
Java BASE64加密解密
Java 加密解密之消息摘要算法（MD5 SHA MAC）
Java 加密解密之对称加密算法DES
Java 加密解密之对称加密算法DESede
Java 加密解密之对称加密算法AES
Java 加密解密之对称加密算法PBE]]></description><category></category></item></channel></rss>