<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[queenten的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/queenten</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; queenten]]></copyright><item><title><![CDATA[flink 实现 dau 去重]]></title><link>https://blog.youkuaiyun.com/queenten/article/details/136460039</link><guid>https://blog.youkuaiyun.com/queenten/article/details/136460039</guid><author>queenten</author><pubDate>Tue, 05 Mar 2024 12:00:00 +0800</pubDate><description><![CDATA[【代码】flink 实现 dau 去重。]]></description><category></category></item><item><title><![CDATA[实时同步mysql数据到doris，Mysql+kafka+flink+doris]]></title><link>https://blog.youkuaiyun.com/queenten/article/details/121375518</link><guid>https://blog.youkuaiyun.com/queenten/article/details/121375518</guid><author>queenten</author><pubDate>Wed, 17 Nov 2021 14:18:57 +0800</pubDate><description><![CDATA[1、使用背景
最近组里想要在现有的环境下搭一套实时数仓，综合分析之后doris将会作为实时数仓落地的数据库，数据源有消息数据，还有业务库的数据。
2、数据源接入
消息数据都好说，无论是pulsar,还是kafka，flink官方都已经提供了现成的source接口，照着官方文档去配置一下就ok，但是由于dba这个神秘组织的存在，他们担心会开启bin-log会增大他们的数据库压力，无法给我们开通访问bin-log的权限，作为大头兵的我只能默默接受，因此无法使用flink-cdc的方式去监控pg数据库的bin-l]]></description><category></category></item><item><title><![CDATA[hive中怎么获取每周，每月，每半年第一天和最后一天]]></title><link>https://blog.youkuaiyun.com/queenten/article/details/120329203</link><guid>https://blog.youkuaiyun.com/queenten/article/details/120329203</guid><author>queenten</author><pubDate>Thu, 16 Sep 2021 15:06:38 +0800</pubDate><description><![CDATA[每周第一天，最后一天
--每个自然周第一天
set hivevar:swfdt=date_add('${hivevar:sdt}',1 - case when dayofweek('${hivevar:sdt}') = 1 then 7 else dayofweek('${hivevar:sdt}') - 1 end);
set hivevar:wfdt=regexp_replace(${hivevar:swfdt},'-','');
select ${hivevar:wfdt};
select ${hiv]]></description><category></category></item><item><title><![CDATA[shell脚本中解决浮点型数据比较大小问题以及如何获取数据库返回结果]]></title><link>https://blog.youkuaiyun.com/queenten/article/details/111672213</link><guid>https://blog.youkuaiyun.com/queenten/article/details/111672213</guid><author>queenten</author><pubDate>Fri, 25 Dec 2020 14:42:42 +0800</pubDate><description><![CDATA[shell脚本中解决浮点型数据比较大小问题以及如何获取数据库返回结果如果你是要用数据库查询出来的结果与某个特定的值比较，那么这篇文章正好是您可以借鉴的。方法一方法二
如果你是要用数据库查询出来的结果与某个特定的值比较，那么这篇文章正好是您可以借鉴的。
方法一
利用sql查询语句中where语句进行过滤比较。
比如在此处我要判断数据库中rt是否大于0.1。通过awk命令将所需要的结果获取出来
result=`hive -e "
select * 
from(
	select count(rate) rt
	f]]></description><category></category></item><item><title><![CDATA[实现xshell连接到另一台电脑的虚拟机上]]></title><link>https://blog.youkuaiyun.com/queenten/article/details/108686910</link><guid>https://blog.youkuaiyun.com/queenten/article/details/108686910</guid><author>queenten</author><pubDate>Sat, 19 Sep 2020 22:33:39 +0800</pubDate><description><![CDATA[桥连方式实现xshell连接到另一台电脑的虚拟机上（A电脑想要连接B电脑上面的虚拟机C）
1、	在B电脑上VM中设置虚拟的为桥连模式

2、	查看A电脑的ip地址

3、	修改C上面的ip地址到A电脑网段上（B电脑应该与A电脑在同一个网段）

4、	关闭A,B,C的防火墙
5、	进入xshell输入C的IP，用户名，密码即可连接成功

...]]></description><category></category></item><item><title><![CDATA[解决监控大数据集群时zabbix  web页面中zabbix server is not running问题]]></title><link>https://blog.youkuaiyun.com/queenten/article/details/108011763</link><guid>https://blog.youkuaiyun.com/queenten/article/details/108011763</guid><author>queenten</author><pubDate>Fri, 14 Aug 2020 19:24:07 +0800</pubDate><description><![CDATA[解决监控大数据集群时zabbix  web页面中zabbix server is not running问题
问题的出现

zabbix web配置完成后，但是web端出现Zabbix service is not running
解决过程
1、查看日志
tail -500 /var/log/zabbix/zabbix_server.log


初步感觉应该是和连接数据库有关，于是查看数据库的相关配置
2、问题分析
zabbix的service端和web端都会有数据库的连接
查看web端的连接配置文件
su]]></description><category></category></item></channel></rss>