<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[大数据同盟会的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/chuan129</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; chuan129]]></copyright><item><title><![CDATA[hive删除分区，判断是否存在]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/149427086</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/149427086</guid><author>chuan129</author><pubDate>Thu, 17 Jul 2025 17:53:10 +0800</pubDate><description><![CDATA[在shell脚本里，删除hive分区时，如果该分区不存在，会报错，可以使用if exists 判断。]]></description><category></category></item><item><title><![CDATA[notepad ++ 将制表符（tab）替换为空格]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/127769375</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/127769375</guid><author>chuan129</author><pubDate>Wed, 09 Nov 2022 14:33:52 +0800</pubDate><description><![CDATA[notepad ++ 将制表符（tab）替换为空格]]></description><category></category></item><item><title><![CDATA[Hive中索引的使用]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/125783553</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/125783553</guid><author>chuan129</author><pubDate>Thu, 14 Jul 2022 14:33:00 +0800</pubDate><description><![CDATA[Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量]]></description><category></category></item><item><title><![CDATA[Kudu之SQL操作(KUDU&Impala基本操作)]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/125651484</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/125651484</guid><author>chuan129</author><pubDate>Thu, 07 Jul 2022 08:55:44 +0800</pubDate><description><![CDATA[通过impala对kudu进行sql操作]]></description><category></category></item><item><title><![CDATA[大数据之clickhouse案例分析]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/125268963</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/125268963</guid><author>chuan129</author><pubDate>Mon, 13 Jun 2022 22:49:23 +0800</pubDate><description><![CDATA[clickhouse案例分析]]></description><category></category></item><item><title><![CDATA[大数据之clickhouse常用函数]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/125127538</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/125127538</guid><author>chuan129</author><pubDate>Sun, 05 Jun 2022 00:05:41 +0800</pubDate><description><![CDATA[clickhouse常用函数]]></description><category></category></item><item><title><![CDATA[大数据之clickhouse各类引擎]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/125030932</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/125030932</guid><author>chuan129</author><pubDate>Sun, 29 May 2022 18:52:00 +0800</pubDate><description><![CDATA[一、基本语法
1、建表语句
目前只有MergeTree、Merge和Distributed这三类表引擎支持 alter 操作。
create  table  test_ddl1(
	id UInt16 ,
	name String
)
engine = MergeTree() 
order by id ;

--MergeTree一定要指定主键和排序字段，order  by 代表两个含义

查看建表语句
show  create  table  test_ddl1

2、修改表结构
alter table ]]></description><category></category></item><item><title><![CDATA[大数据之clickhouse安装部署]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/124788686</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/124788686</guid><author>chuan129</author><pubDate>Sun, 15 May 2022 21:48:12 +0800</pubDate><description><![CDATA[一、clickhouse简介

优点：

缺点：


]]></description><category></category></item><item><title><![CDATA[谁欠谁的幸福]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/124542064</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/124542064</guid><author>chuan129</author><pubDate>Mon, 02 May 2022 15:57:57 +0800</pubDate><description><![CDATA[你把婚约给了吉吉
把陪伴给了子诺
把孝顺给了父母
却将牵挂给了我
你终于和别人步入了婚姻殿堂，成为了别人的新娘
也许你知道，也许你不知道
也许你装作不知道
他曾为你倾其所有，逃课挂科退学
也许你记得，也许你不记得
他曾在欧美学院心跳网吧陪伴你一夜
只为见你一面
也许你留着，也许你没留着
他曾转遍燕山大学周边的饰品店
为你挑选的一对耳坠
也许你忘记，也许你没忘记
他曾在欧美学院8号楼下站立了一个晚上
而你却从未下楼一步
也许你应该，也许你不应该
撕掉了他前往任丘的车票
让任丘，成为了他人生的禁地
这一切永远定]]></description><category></category></item><item><title><![CDATA[大数据之Drools安装使用]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/124026225</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/124026225</guid><author>chuan129</author><pubDate>Thu, 07 Apr 2022 21:36:15 +0800</pubDate><description><![CDATA[一、Drools安装
1、导入相关依赖
&lt;dependency&gt;
   &lt;groupId&gt;org.drools&lt;/groupId&gt;
    &lt;artifactId&gt;drools-compiler&lt;/artifactId&gt;
    &lt;version&gt;7.23.0.Final&lt;/version&gt;
&lt;/dependency&gt;

&lt;dependency&gt;
    &lt;groupId&gt;org.proj]]></description><category></category></item><item><title><![CDATA[大数据之实时数仓建设（四）]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123972302</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123972302</guid><author>chuan129</author><pubDate>Tue, 05 Apr 2022 23:01:23 +0800</pubDate><description><![CDATA[Table &amp; SQL API 是⼀种关系型 API，用户可以像操作 mysql 数据库表一样的操作数据，而不需要写java 代码完成 Flink Function，更不需要手工的优化 java 代码调优。
BatchTableEnvironment (离线批处理Table API)
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
BatchTableEnvironment tEnv = Batch]]></description><category></category></item><item><title><![CDATA[大数据之Canal安装与配置]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123874115</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123874115</guid><author>chuan129</author><pubDate>Thu, 31 Mar 2022 15:54:35 +0800</pubDate><description><![CDATA[canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&amp;消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。
canal可以记录mysql的binlog的偏移量，对mysql侵入性比较小，支持灵活配置，可以配置输出的存储系统。
一、Canal工作原理

首先了解一下mysql主备复制原理：
（1）master主库将改变记录，发送到二进制文件（binary log）中
（2）slave从库向mysql M]]></description><category></category></item><item><title><![CDATA[大数据之实时数仓建设（三）]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123872880</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123872880</guid><author>chuan129</author><pubDate>Thu, 31 Mar 2022 15:11:31 +0800</pubDate><description><![CDATA[业务数据库的实时分析：
业务数据库就是MySQL（集群），假设直接在业务数据库中写SQL进行查询，如果复杂的查询（多维度聚合、join、并且数据流比较大）业务数据库的性能就会下降。甚至不能完成正常的业务功能（不能完成普通的业务数据的查询、插入、修改或是性能下降）

...]]></description><category></category></item><item><title><![CDATA[大数据之实时数仓建设（二）]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123754847</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123754847</guid><author>chuan129</author><pubDate>Sat, 26 Mar 2022 17:29:15 +0800</pubDate><description><![CDATA[如果数据量大，维度多，用keyBy并不方便，建议写到外部实时数仓里，Clickhouse擅长实时查询，flink擅长实时处理。
一、多维度复杂统计（使用Clickhouse）
使用是clickhouse的ReplacingMergeTree，可以将同一个分区中，ID相同的数据进行merge，可以保留最新的数据，可以使用这个特点实现Flink + Clickhouse（勉强）实现数据一致性。
存在的问题：写入到clickhouse中的数据不能立即merge，需要手动optimize或后台自动合并。
解决方案：]]></description><category></category></item><item><title><![CDATA[大数据之OpenResty安装使用]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123619954</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123619954</guid><author>chuan129</author><pubDate>Sun, 20 Mar 2022 22:32:07 +0800</pubDate><description><![CDATA[一、OpenResty介绍
OpenResty 是一个基于 Nginx与 Lua 的高性能 Web 平台，其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 Web 应用、Web 服务和动态网关。
OpenResty通过汇聚各种设计精良的 Nginx模块，从而将 Nginx有效地变成一个强大的通用 Web 应用平台。，快速构造出足以胜任 10K 乃至 1000K 以上单机并发连接的高性能 Web 应用系统。
简单的说：OpenResty = N]]></description><category></category></item><item><title><![CDATA[大数据之实时数仓建设（一）]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123616158</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123616158</guid><author>chuan129</author><pubDate>Sun, 20 Mar 2022 16:50:11 +0800</pubDate><description><![CDATA[一、数据采集服务


]]></description><category></category></item><item><title><![CDATA[大数据之flink数据一致性]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123599840</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123599840</guid><author>chuan129</author><pubDate>Sat, 19 Mar 2022 21:31:08 +0800</pubDate><description><![CDATA[一、flink分析结果写入redis
1、下载link-hadoop整合包，放入所有节点
2、KafkaToRedisWordCount
package cn._51doit.flink.day08;

import cn._51doit.flink.day02.RedisSinkDemo;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.serializatio]]></description><category></category></item><item><title><![CDATA[大数据之flink状态（下）]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123466322</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123466322</guid><author>chuan129</author><pubDate>Sun, 13 Mar 2022 22:54:27 +0800</pubDate><description><![CDATA[一、State的存活时间
任何的keyed state都有存活时间，如果配置了TTL;，且状态值已过期，会尽大可能清除对应的值。
1、设置ValueState存活时间
package cn._51doit.flink.day08;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.RichMapFunction;
import org.apac]]></description><category></category></item><item><title><![CDATA[大数据之flink定时器]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123451157</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123451157</guid><author>chuan129</author><pubDate>Sat, 12 Mar 2022 21:51:50 +0800</pubDate><description><![CDATA[一、

]]></description><category></category></item><item><title><![CDATA[大数据之flink状态（上）]]></title><link>https://blog.youkuaiyun.com/chuan129/article/details/123240758</link><guid>https://blog.youkuaiyun.com/chuan129/article/details/123240758</guid><author>chuan129</author><pubDate>Wed, 02 Mar 2022 22:56:20 +0800</pubDate><description><![CDATA[一、概念理解
1、State状态
Flink实时计算程序为了保证计算过程中，出现异常可以容错，就要将中间的计算结果数据存储起来，这些中间数据就叫做State。
2、StateBackEnd
用来保存State的存储后端就叫做StateBackEnd，默认是保存在JobManager的内存中，也可以保存的本地文件系统或HDFS这样的分布式文件系统
3、CheckPointing
Flink实时计算为了容错，可以将中间数据定期保存到起来，这种定期触发保存中间结果的机制叫CheckPointing
二、重启策略
]]></description><category></category></item></channel></rss>