<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[张不帅]]></title><description><![CDATA[年轻人应该勇于玩转风口浪尖的一切技术]]></description><link>https://blog.youkuaiyun.com/wwwzydcom</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wwwzydcom]]></copyright><item><title><![CDATA[多次kerberos认证服务超时]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/134196960</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/134196960</guid><author>wwwzydcom</author><pubDate>Fri, 03 Nov 2023 10:04:30 +0800</pubDate><description><![CDATA[调整 /var/kerberos/krb5kdc/kdc.conf 文件，有则修改，无则添加
[kdcdefaults]
kdc_tcp_listen_backlog = 7
调整 /etc/krb5.conf
[dbmodules]
disable_last_success = true
调整 /etc/sysconfig/krb5kdc
KRB5KDC_ARGS=‘-w 48’  #增大kdc的进程数量
生效上述配置
systemctl daemon-reload  &amp;&amp;  syste]]></description><category></category></item><item><title><![CDATA[hbase表出现RIT删除方案]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/130645402</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/130645402</guid><author>wwwzydcom</author><pubDate>Fri, 12 May 2023 16:34:34 +0800</pubDate><description><![CDATA[/zkCli.sh -server node2:2181                       --node2为仿真节点，生产需改。deleteall ‘hbase:meta’,‘表名’,‘table:state’hadoop dfs -rm -r /hbase/data/default/表名。6. 删除 /hbase/MasterProcWALs 目录。deleteall /hbase/table/表名。3.删除hbase:meta对应表信息。1）echo所有表的元数据信息。]]></description><category></category></item><item><title><![CDATA[Yarn的job history无法启动]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/126708642</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/126708642</guid><author>wwwzydcom</author><pubDate>Mon, 05 Sep 2022 16:47:51 +0800</pubDate><description><![CDATA[cdh yarn 组件修复]]></description><category></category></item><item><title><![CDATA[shell中有大量的转义字符需要写入变量打入文本中]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/124880576</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/124880576</guid><author>wwwzydcom</author><pubDate>Fri, 20 May 2022 11:45:11 +0800</pubDate><description><![CDATA[在编程时发现用shell读取oralce库,其中clob字段存在大量文本信息,需要远程写入其他服务器文本中,以下记录一个小细节
"echo \" ${will_text}\"  &gt; ${txt_path}"


]]></description><category></category></item><item><title><![CDATA[hbase的预分区]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/124832893</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/124832893</guid><author>wwwzydcom</author><pubDate>Tue, 17 May 2022 23:35:14 +0800</pubDate><description><![CDATA[对于hbase的预分区,首先预估源数据的rowkey前缀规则,一般推荐是region server的个数,保证rowkey平均分配,如rowkey客户id,推荐将客户id反转,分区规则 0-10
create 't1', 'f1', SPLITS =&gt; ['0', '1', '2', '3','4','5','6','7','8','9']

可以观察到其start key 和 end key的分布

写入两条数据验证一下

可以看到写请求变化

注意: truncate操作会丢失所有预分区



.]]></description><category></category></item><item><title><![CDATA[flink作业提交流程]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/124655683</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/124655683</guid><author>wwwzydcom</author><pubDate>Sun, 08 May 2022 22:55:24 +0800</pubDate><description><![CDATA[文章目录独立模式（Standalone）YARN 集群1. 会话（Session）模式单作业（Per-Job）模式应用（Application）模式

（1） 一般情况下，由客户端（App）通过分发器提供的 REST 接口，将作业提交给JobManager。
（2）由分发器启动 JobMaster，并将作业（包含 JobGraph）提交给 JobMaster。
（3）JobMaster 将 JobGraph 解析为可执行的 ExecutionGraph，得到所需的资源数量，然后向资源管理器请求资源（slot]]></description><category></category></item><item><title><![CDATA[flink的架构 job manager和TaskManager]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/124655183</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/124655183</guid><author>wwwzydcom</author><pubDate>Sun, 08 May 2022 21:50:36 +0800</pubDate><description><![CDATA[文章目录job managerjob master资源管理器（ResourceManager）分发器（Dispatcher）TaskManager
job manager
job maager 是flink 集群中任务管理和调度的核心,控制应用执行的主进程,每个应用都应该被唯一的Job manager 所控制执行,ha 环境下可能会有多个,但是只有一个为leader,其中 job manager 有三个组件
job master
JobMaster 是 JobManager 中最核心的组件，负责处理单独的作]]></description><category></category></item><item><title><![CDATA[flink的部署模式]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/124650446</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/124650446</guid><author>wwwzydcom</author><pubDate>Sun, 08 May 2022 17:16:07 +0800</pubDate><description><![CDATA[文章目录会话模式（Session Mode）单作业模式（Per-Job Mode）应用模式（Application Mode）
flink 主要分为三种部署模式:
⚫ 会话模式（Session Mode）
⚫ 单作业模式（Per-Job Mode）
⚫ 应用模式（Application Mode）
会话模式（Session Mode）

首先启动一个集群,保持一个会话,在这个会话中通过客户端提交作业,此时集群所有的资源已经确定,所有提交的作业会竞争集群中的资源
问题: 同一个task manager上的作业]]></description><category></category></item><item><title><![CDATA[java.lang.IllegalArgumentException: The given host:port (‘yarn-cluster‘) doesn‘t contain a valid por]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/124460176</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/124460176</guid><author>wwwzydcom</author><pubDate>Wed, 27 Apr 2022 20:42:54 +0800</pubDate><description><![CDATA[修改flink安装包中的bin/flink
开头增加代码
export HADOOP_CLASSPATH=`hadoop classpath`

]]></description><category></category></item><item><title><![CDATA[flink sql 时态和和静态表的理解]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/123570778</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/123570778</guid><author>wwwzydcom</author><pubDate>Fri, 18 Mar 2022 12:06:48 +0800</pubDate><description><![CDATA[静态表
flink sql 定义的维度表,一般程序启动的时候将维度即信息一次性缓存到内存中,下次流数据与之关联的时候,实际是与内存中数据进行关联查询
样例SQL
create table source_kafka (
id bigint,
name string,
proctime as proctime()
) WITH (
  'connector' = 'kafka',
  'topic' = 'test',
  'properties.bootstrap.servers' = 'xxx',
  'p]]></description><category></category></item><item><title><![CDATA[flinksql 的函数使用指南]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/122874185</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/122874185</guid><author>wwwzydcom</author><pubDate>Fri, 11 Feb 2022 09:52:19 +0800</pubDate><description><![CDATA[文章目录时间函数CURRENT_TIMECURRENT_DATE
时间函数
CURRENT_TIME
使用

select CURRENT_TIME from a

结果: 只有时分秒

18:51:28

CURRENT_DATE
使用

select CURRENT_DATE from a

结果 只有年月日

2022-02-11


]]></description><category></category></item><item><title><![CDATA[flinksql报错大全]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/122841324</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/122841324</guid><author>wwwzydcom</author><pubDate>Wed, 09 Feb 2022 14:30:16 +0800</pubDate><description><![CDATA[报错

Type mismatch in column 1 of UNION

解决方案:

sql 在 union的时候 两个表字段出现类型不一致现象


]]></description><category></category></item><item><title><![CDATA[两个数组元素的二元组合]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/122185038</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/122185038</guid><author>wwwzydcom</author><pubDate>Tue, 28 Dec 2021 09:19:29 +0800</pubDate><description><![CDATA[文章目录
    String s = "{\n" +
            "   \"name\":[\"op\",\"pl\",\"zs\"],\n" +
            "   \"age\":[\"11\",\"12\"],\n" +
            "   \"sex\":\"F\",\n" +
            "   \"class\":[\"ONE\",\"TWO\"]\n" +
            "   \n" +
            "}";
    ]]></description><category></category></item><item><title><![CDATA[flink sql 自定义connector 原理解读]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/121376260</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/121376260</guid><author>wwwzydcom</author><pubDate>Wed, 17 Nov 2021 15:59:26 +0800</pubDate><description><![CDATA[文章目录创建动态表工厂
类比于flume的sink,source,channel的模型,定义好connector,用户编写自定义的source端和siink端,就可以将数据需求sql化
实现架构图:

创建动态表工厂
对于source端实现 DynamicTableSourceFactory 接口, DynamicTableSourceFactory 需要实现的方法
    @Override
    public DynamicTableSource createDynamicTableSource(Co]]></description><category></category></item><item><title><![CDATA[flink sql 自定义connector 原理解读]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/121376240</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/121376240</guid><author>wwwzydcom</author><pubDate>Wed, 17 Nov 2021 13:42:36 +0800</pubDate><description><![CDATA[文章目录创建动态表工厂
类比于flume的sink,source,channel的模型,定义好connector,用户编写自定义的source端和siink端,就可以将数据需求sql化
实现架构图:

创建动态表工厂
对于source端实现 DynamicTableSourceFactory 接口, DynamicTableSourceFactory 需要实现的方法
    @Override
    public DynamicTableSource createDynamicTableSource(Co]]></description><category></category></item><item><title><![CDATA[flink sql 的 source / sink 原理]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/121197483</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/121197483</guid><author>wwwzydcom</author><pubDate>Mon, 08 Nov 2021 23:43:20 +0800</pubDate><description><![CDATA[文章目录source
source
对于flink sql 中的source 无奈就两种
.流表 比如数据源是kafka 或者mq等动态数据源
维表数据源是mysql/hbase/redis等静态数据源
datastream 定义一个source的基本内容


source , sink 的connector 连接配置信息(sql中connector)
source , sink的序列化方式信息(sql 中format字段)
source,sink的字段信息 (sql source ,sink field ]]></description><category></category></item><item><title><![CDATA[log4j打印日志到控制台]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/121143118</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/121143118</guid><author>wwwzydcom</author><pubDate>Thu, 04 Nov 2021 15:10:15 +0800</pubDate><description><![CDATA[log4j.rootLogger=WARN,console
#输出到控制台
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=[%-5p][%-22d{yyyy/MM/dd HH:mm:ssS}][%l]%m%n
log4j.app]]></description><category></category></item><item><title><![CDATA[flink sql连接hbase]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/121096160</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/121096160</guid><author>wwwzydcom</author><pubDate>Tue, 02 Nov 2021 10:59:25 +0800</pubDate><description><![CDATA[文章目录
创建hbase表可以设置参数
    public static final ConfigOption&lt;String&gt; TABLE_NAME = ConfigOptions.key("table-name").stringType().noDefaultValue().withDescription("The name of HBase table to connect.");
    public static final ConfigOption&lt;String&gt; ZOO]]></description><category></category></item><item><title><![CDATA[Flink: No operators defined in streaming topology. Cannot execute]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/120995755</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/120995755</guid><author>wwwzydcom</author><pubDate>Wed, 27 Oct 2021 16:20:03 +0800</pubDate><description><![CDATA[Flink: No operators defined in streaming topology. Cannot execute
需要增加print(), 类似spark 中需要触发算子一样
env.print()
env.execute("Test Job")


]]></description><category></category></item><item><title><![CDATA[maven打包插件]]></title><link>https://blog.youkuaiyun.com/wwwzydcom/article/details/120860052</link><guid>https://blog.youkuaiyun.com/wwwzydcom/article/details/120860052</guid><author>wwwzydcom</author><pubDate>Wed, 20 Oct 2021 09:52:46 +0800</pubDate><description><![CDATA[依赖包和主程序分开的包
依赖包和主程序一起的包
&lt;plugins&gt;

            &lt;plugin&gt;
                &lt;groupId&gt;org.apache.maven.plugins&lt;/groupId&gt;
                &lt;artifactId&gt;maven-shade-plugin&lt;/artifactId&gt;
                &lt;version&gt;3.0.0&lt;/ver]]></description><category></category></item></channel></rss>