<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zwmonk的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zwmonk</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zwmonk]]></copyright><item><title><![CDATA[FineBI漏斗图分析转化率计算，需要获取当前节点和上一节点的转化率，需要获取错行值实现方案]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/143645195</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/143645195</guid><author>zwmonk</author><pubDate>Sat, 09 Nov 2024 15:28:51 +0800</pubDate><description><![CDATA[从漏斗图看到需要计算转化率，都需要获取上一步漏斗的值，比如计算上一个省份的门店数量与下一个省份的门店数量差，又比如计算上一步数据到下一步数据的转化率。到这里我们需要通过排名 找到上一步的门店数量，上一步的门店数量=DEF(COUNTD_AGG({﻿销售明细表﻿_﻿每个省份门店数﻿}/${﻿销售明细表﻿_﻿上一步的门店数量﻿}){﻿销售明细表﻿_﻿门店编码﻿}),“desc”],[-1,-1]){﻿销售明细表﻿_﻿每个省份门店数﻿})])+1。{﻿销售明细表﻿_﻿排名﻿})){﻿销售明细表﻿_﻿省份﻿})]]></description><category></category></item><item><title><![CDATA[对于新旧hive版本中grouping_id计算方式不同造成的差异化解决方案]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/120683680</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/120683680</guid><author>zwmonk</author><pubDate>Sun, 10 Oct 2021 11:44:49 +0800</pubDate><description><![CDATA[工作中使用多维度分组时并不想写一大堆union all，为了便于代码简洁喜欢使用grouping_id这个函数，使用久了会发现hive_1.2.1版本以前的grouping_id计算方式和以后的计算方式会有所不同步。这样造成使用这个函数的时候如果存在历史数据使用时存在着矛盾，这时很多聪明人会想到的解决办法就是把不同的grouping_ID产生的数据按照时间分段开来重新计算，这样会造成许多大量重复的代码。在没有想到下面这个解决方案时，那种根据不同时间段groupingID 分段计算是一种解决方案但不是最佳方案]]></description><category></category></item><item><title><![CDATA[男人也来大姨妈，你不信？痛苦不堪]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/109269469</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/109269469</guid><author>zwmonk</author><pubDate>Sun, 25 Oct 2020 20:44:06 +0800</pubDate><description><![CDATA[一个平静的周六和往常一样，早晨被闹钟惊醒，睡眼朦胧的睁开，一看手机6:45，心想还早，继续睡一个回笼觉。一个小时后被加班的节奏再次清醒，原来今天要上班，快速走马观花式的洗漱完成，按照不知重复了多少次的起床节奏从睁眼一分钟闭眼俩分钟贪睡一俩分钟就这样循环着猛一惊开始了早晨的报道。时间到了8:00出门的时间到了，已不知到重复了多少遍的步伐，来到电梯前按下了一天的路程起点，直到达一层。中间还好没什么人，一个不留神的机会瞄了一眼电梯里镜面照射出来的人神。这是哪个鬼神仙，刚洗的头未吹干的头发承托着一个微胖的脸型上，格]]></description><category></category></item><item><title><![CDATA[centos07安装高可用集群实战从零开始]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/108964025</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/108964025</guid><author>zwmonk</author><pubDate>Thu, 08 Oct 2020 21:06:05 +0800</pubDate><description><![CDATA[从centos06过来的人喜欢使用命令行性质的黑窗口。显然cnetos7中的inittab中已经无法修改，但还是可以看到修改方法介绍。
命令行中：cat /etc/inittab

获取当前模式 systemctl get-default
修改启动模式为命令行模式 systemctl set-default multi-user.target
1.在安装集群之前请确保系统安装了jdk等必备软件。开始克隆虚拟机。

2.修改虚拟机名称和存放位置，选择完整克隆，不要链接克隆。一路下一步等待

3.克隆完成修改完]]></description><category></category></item><item><title><![CDATA[你脱不了单赖谁，人生大智慧]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/108960247</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/108960247</guid><author>zwmonk</author><pubDate>Thu, 08 Oct 2020 11:28:32 +0800</pubDate><description><![CDATA[今天的天气尽管是晴天，晴空高照，但是外面有点风，吹在身上凉飕飕的。还是有点凉的。今天是国庆佳节和中秋节双节放假最后一天，历史难遇的八天假期，终于要结束了。当然在这么长的假期里，很多像我一样的适龄儿童，肯定将脱单必须提上日程，已不负这难得的假期。这个节日里你似乎会发现所有人的朋友圈里更多的是晒结婚照的，晒娃的，甚是幸福的狠哪。人类繁衍所要经历的正常过程是在不足为怪嘛。平常心态，就是平常心态嘛，见多了晒幸福也就激不起内心的波澜。但是还是要祝福人家还是幸福的嘛。早生贵子可好。

当然对于我们这样的黄金单身老大难，]]></description><category></category></item><item><title><![CDATA[clickhouse安装部署详细步奏，让你学习之路少走坑]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/108911408</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/108911408</guid><author>zwmonk</author><pubDate>Tue, 06 Oct 2020 22:15:09 +0800</pubDate><description><![CDATA[1.安装前准备工作
1.1设置CentOS7 打开文件数限制
sudo vim /etc/security/limits.conf


          soft    nofile            65536



          hard    nofile            65536



          soft    nproc             131072



          hard    nproc             131072



在sudo ]]></description><category></category></item><item><title><![CDATA[centos07系统安装jdk]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/108943395</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/108943395</guid><author>zwmonk</author><pubDate>Tue, 06 Oct 2020 21:04:28 +0800</pubDate><description><![CDATA[1.准备软件 jdk-8u73-linux-x64.tar.gz
通过 ftp 工具把软件传到 linux 服务器上去

2.配置centos用户sudo权限用于后面普通用户操作，使用root用户操作风险比较大
vim /etc/sudoers

3.把软件解包解压缩出来到安装路径下去： tar -zxvf jdk-8u73-linux-x64.tar.gz -C /usr/local/

4、 配置环境变量 vi /etc/profile   或者配置用户环境变量 vi  ~/.bashrc or vi ]]></description><category></category></item><item><title><![CDATA[虚拟机环境搭建centos7系统]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/108942008</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/108942008</guid><author>zwmonk</author><pubDate>Tue, 06 Oct 2020 20:17:16 +0800</pubDate><description><![CDATA[本来以为学习一下clickhouse，不料都装好了，报错
，系统不兼容环境不行，群友们助攻
逼着我需要重新安装一个centos7系统，不得发福利来了，记录一下装机过程。
1.去阿里镜像站下载一个镜像包
http://mirrors.aliyun.com/centos/7/isos/x86_64/

2.打开VMware，选择创建虚拟机-自定义

3.一路默认下一步。选择稍后安装虚拟机系统

4.选择linux操作系统


5.选择虚拟机内存，看自己的宿主机情况而定

6.选择网络类型

7.继续一路默认选择]]></description><category></category></item><item><title><![CDATA[Hive对周一的写法入坑实战演练]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/108422789</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/108422789</guid><author>zwmonk</author><pubDate>Sat, 05 Sep 2020 18:54:54 +0800</pubDate><description><![CDATA[最近在做需求发现算周表的时候将数据存储在每个星期的周一。在国内的语法实现完全没问题，但是将相同的脚本发送给海外部署新加坡站点俄罗斯站点部署时在国内测试通过的语句。在海外部署报错语法错误，这不折磨一通，难道hive不是适合国际化的趋势吗？研究发现果不其然还真是不是兼通海内外，随着我的排查思路待我慢慢道来。

就拿今天举例子吧，且看日历

第一种实现：就什么时间格式转换且自己自行百度转换成标准时间格式xxxx-xx-xx就ok
hive计算周一的日期；
SELECT DATE_SUB(‘2020-09-05’,]]></description><category></category></item><item><title><![CDATA[浅谈一波hive中参数设置的含义]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/108041392</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/108041392</guid><author>zwmonk</author><pubDate>Sun, 16 Aug 2020 19:19:28 +0800</pubDate><description><![CDATA[分布式框架计算特性
1、数据量大不是问题，数据倾斜是个问题
2、jobs 数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次
汇总，产生十几个 jobs，耗时很长。原因是 map reduce 作业初始化的时间是比较长的
3、sum,count,max,min 等 UDAF，不怕数据倾斜问题，hadoop 在 map 端的汇总合并优化，使
数据倾斜不成问题
4、count(distinct userid)，在数据量大的情况下，效率较低，如果是多 count(distinct
useri]]></description><category></category></item><item><title><![CDATA[hive3.0惊天大bug发现，grouping()函数只能小写，大写直接报错，hive不是不区分大小写吗.]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/107896510</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/107896510</guid><author>zwmonk</author><pubDate>Sun, 09 Aug 2020 18:09:56 +0800</pubDate><description><![CDATA[在最近写脚本时发现，一直使用的grouping()函数只能小写，改成大写直接报错。下面例子来证明一下。
1.如下图为表的数据
hive&gt; select * from dwd_user_page_view_dm;
OK
user_id                               pv        pt_d
0006D2BC14DF914C0      62      20201011
83AD10183789E78D4       4       20201011
15AE1A14B8]]></description><category></category></item><item><title><![CDATA[奔三的年纪想像猪一样一直高产已然不可能了，但是我们还是要谈一谈2020年被极度渲染的焦虑这个敏感词]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/107734733</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/107734733</guid><author>zwmonk</author><pubDate>Sun, 02 Aug 2020 14:50:00 +0800</pubDate><description><![CDATA[2020年七月份悄无声息的过去了，真的就招呼都不打撇开了你。人来人往的职场中终于坚持了几个月还是坚持不下去有人走了，可能不是这样的，另有奔向有前景的工作去了。祝福吧！回想这半年来，翻遍了习惯的逛遍的论坛博客，好像都没有找到有关自己的身影的记录。噢，原来这大半年来都在干嘛呢，脑袋追忆到年初，丝毫没有了印迹。
2020年注定是不平凡的一年，编剧好像跟着商量好的一样，瞅准了中年焦虑这个词，一顿狂轰滥炸。从年初的电视剧我是余欢水，到湖南中一节目乘风破浪的姐姐们，再到如今的三十而已。不管是综艺还是剧集都逃不掉中年焦虑]]></description><category></category></item><item><title><![CDATA[小姐姐在工作中窗口函数LEAD LAG FIRST_VALUE LAST_VALUE用的那么溜]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/107730846</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/107730846</guid><author>zwmonk</author><pubDate>Sat, 01 Aug 2020 16:36:50 +0800</pubDate><description><![CDATA[小姐姐，工作中窗口用的那么溜，毕竟我也是一个爱好学习的人，怎么也得研究一把，说干咱就干
准备数据
1、 创建库：create database if not exists bicoredata;
2、 查看库：show databases;
3、 切换数据库：use bicoredata;
4、 建表
CREATE EXTERNAL TABLE IF NOT EXISTS  bicoredata.dwd_user_page_view_dm(
user_id VARCHAR(32) COMMENT ‘用户ID]]></description><category></category></item><item><title><![CDATA[咦,奔三的程序员学历一般技能一般存款不足三十万颜值更一般还没对象无房无车是靠什么在社会中存活下来的？]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/107600479</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/107600479</guid><author>zwmonk</author><pubDate>Mon, 27 Jul 2020 10:23:43 +0800</pubDate><description><![CDATA[想必看到了标题就基本上就有了一个人设在自己的脑海中，就这么一个条件很low很一般的人靠什么在社会立足生存下来。曾几何时我也恐慌了一阵子，害怕失业，担心失去了唯一的生活来源，拿什么来对付每个月按时就要来的房租。按时缴纳的房租就好比女生的生理期一样，每个月都会来，或来的晚一点或来的早一点，反正迟早都是要来的，逃都逃不掉。既然逃不掉就不如正确面对它，寻找出路破局就成为了关键。
对于我们普通的不能再普通有点想法的人，将考虑如果某天你失业了，你会靠什么谋生这种忧虑拿上考虑的日程。别人不知道，反正我是在积极寻找退路。尤]]></description><category></category></item><item><title><![CDATA[win命令提示符中DOS界面命令]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/106882424</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/106882424</guid><author>zwmonk</author><pubDate>Sun, 21 Jun 2020 10:28:33 +0800</pubDate><description><![CDATA[打开dos界面的俩种方式
1.运行+cmd命令
2.开始-》所有程序-》附件-》命令提示符
命令：
1.切换盘符：直接输入
d:
c:
e:
2.查看 文件目录清单
dir 查看的路径
dir /s 所有子目录下的文件
dir /p 分屏显示
dir  /s/p  按任意键 下一页
3.改变目录
cd  目录名 cd d:/
回退上一级 目录  cd…
回退到 根目录 cd/
4.新建文件夹
md 目录名
5.建立文件
copy con 文件名.扩展名
内容
ctrl + Z 退出
6.显示文件内容
typ]]></description><category></category></item><item><title><![CDATA[一道经典hive面试题输入 1,2,4,5,6,8,9  输出能连续上的搞在一起 用hive解决 1,2   4,5,6   8,9]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/106603054</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/106603054</guid><author>zwmonk</author><pubDate>Sun, 07 Jun 2020 16:20:50 +0800</pubDate><description><![CDATA[经典hive面试题
输入
1,2,4,5,6,8,9
输出  就是能连续上的搞在一起  用hive解决
1,2
4,5,6
8,9
直接进入主题：
建表CREATE TABLE people(
number varchar(256),
id int,
pt_d int)
ROW FORMAT SERDE
‘org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe’
STORED AS INPUTFORMAT
‘org.apache.hadoop.mapred.Te]]></description><category></category></item><item><title><![CDATA[Mysql的分区partition关于reorganize演示]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/105800379</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/105800379</guid><author>zwmonk</author><pubDate>Mon, 27 Apr 2020 22:52:53 +0800</pubDate><description><![CDATA[我们一般业务用于展示层喜欢用mysql存储，这不可避免我们需要建立mysql分区表。
建表：
DROP TABLE IF  EXISTS people;
CREATE TABLE IF NOT EXISTS people (
name varchar(20) DEFAULT NULL,
address varchar(30) DEFAULT NULL,
id    int(11) NOT NULL...]]></description><category></category></item><item><title><![CDATA[String,StringBuffer,StringBuilder比较]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/105615768</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/105615768</guid><author>zwmonk</author><pubDate>Sun, 19 Apr 2020 15:45:58 +0800</pubDate><description><![CDATA[String,StringBuffer,StringBuilder比较
1.String
创建字符串的方式有很多，归纳起来有三类：；一，使用new关键字创建字符串，例如 String s=new String(“abc”)；二，直接指定，例如 String s=“abc”；三，使用字符串生成新的字符串，例如 string  s =‘’‘abc’+‘’cd‘’；
字符串的一些特性，string类位于...]]></description><category></category></item><item><title><![CDATA[mysql中事务]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/105458718</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/105458718</guid><author>zwmonk</author><pubDate>Sat, 11 Apr 2020 20:17:15 +0800</pubDate><description><![CDATA[事务


存储引擎
数据库存储引擎是数据库底层软件组织，数据库管理系统（DBMS）使用数据引擎进行创建、查询、更新和删除数据。不同的存储引擎提供不同的存储机制、索引技巧、锁定水平等功能，使用不同的存储引擎，还可以获得特定的功能。Mysql的核心就是存储引擎。
InnoDB是事务型数据库的首选，执行安全性数据库，行锁定和外键。mysql5.5之后默认使用。
MyISAM插入速度和查询效率较高，但不支...]]></description><category></category></item><item><title><![CDATA[hive中关于 msck repair table 和with as的用法解释]]></title><link>https://blog.youkuaiyun.com/zwmonk/article/details/105441681</link><guid>https://blog.youkuaiyun.com/zwmonk/article/details/105441681</guid><author>zwmonk</author><pubDate>Fri, 10 Apr 2020 21:05:56 +0800</pubDate><description><![CDATA[在hive3.0之前我们一般建立hive外部表后，遇到增加字段或者修改字段类型长度等，我们习惯做法，删表重建后全表修复文件MSCK REPAIR TABLE table_name，一般对于没有错误历史数据的表，这样修复是可以的。但是我们如果遇到一些比较复杂的场景，这时我们只需要修复特定分区即可 MSCK REPAIR TABLE table_name partition（pt_d=‘2020033...]]></description><category></category></item></channel></rss>