<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ronaldo-liu的博客]]></title><description><![CDATA[大数据BI的实践之路]]></description><link>https://blog.youkuaiyun.com/sinat_17697111</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sinat_17697111]]></copyright><item><title><![CDATA[漏斗分析（Funnel Analysis）]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/123003314</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/123003314</guid><author>sinat_17697111</author><pubDate>Fri, 18 Feb 2022 14:45:43 +0800</pubDate><description><![CDATA[什么是漏斗分析？

简单来讲，就是抽象出某个流程，观察流程中每一步的转化与流失。



漏斗的三个要素：

时间：特指漏斗的转化周期，即为完成每一层漏斗所需时间的集合
	节点：每一层漏斗，就是一个节点
	流量：就是人群


对于时间来说：通常来讲，一个漏斗的转化周期越短越好。

对于节点来说：最核心的指标就是转化率，计算公式为：转化率 = 通过该层的流量/到达该层的流量。

对于流量来说：不同人群在同一个漏斗下的表现情况一定是不一样的，比如淘宝的购物漏斗，男人和女人的转化率不一样，年轻人和老人的转化率也不一]]></description><category></category></item><item><title><![CDATA[电商常用三大数据分析模型--深入浅出]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/122968450</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/122968450</guid><author>sinat_17697111</author><pubDate>Wed, 16 Feb 2022 18:16:28 +0800</pubDate><description><![CDATA[三大数据模型：漏斗，留存，全行为路径拆解模型]]></description><category></category></item><item><title><![CDATA[跨境电商平台-利润模型搭建]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/105088853</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/105088853</guid><author>sinat_17697111</author><pubDate>Tue, 22 Jun 2021 11:46:32 +0800</pubDate><description><![CDATA[一.背景和业务价值

二.数据模型



三.
]]></description><category></category></item><item><title><![CDATA[presto web UI介绍]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/112677304</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/112677304</guid><author>sinat_17697111</author><pubDate>Fri, 15 Jan 2021 16:59:16 +0800</pubDate><description><![CDATA[Presto Web UI 可以用来检查和监控Presto集群，以及运行的查询。他所提供的关于查询的详细信息可以更好的理解以及调整整个集群和单个查询。

需要注意的是，Presto Web UI所展示的信息都来自于Presto系统表，关于Presto系统表之后文章中再补充，这里不再多说；

当你进入Presto Web时，你将会看到如同1所示的界面：主要分为上下两部分，上面描述了集群信息，下面是查询列表；





首页

集群信息

Running Queries

当前在集群中正在执行的查询的个数。包.]]></description><category></category></item><item><title><![CDATA[日期转换(函数)--hive 和presto]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/107519347</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/107519347</guid><author>sinat_17697111</author><pubDate>Wed, 22 Jul 2020 17:54:39 +0800</pubDate><description><![CDATA[一.timestamp 类型 转换为其他类型

场景
			presto用法
			hive用法
		转换成北京时区的string字符串，格式为y-m-d
			
			date_format(created_at AT TIME ZONE 'Asia/Shanghai','%Y-%m-%d')

			如果需要到时分秒，可在%Y-%m-%d'基础上加格式
			
			
			from_unixtime(unix_timestamp(from_utc_timestamp(`created_at`,'A..]]></description><category></category></item><item><title><![CDATA[数据分析师的几层境界]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/103364947</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/103364947</guid><author>sinat_17697111</author><pubDate>Tue, 31 Dec 2019 12:28:29 +0800</pubDate><description><![CDATA[一.业务方满意

最基本的要求，让所有业务方满意



二.业务方觉得你很吊

第二层境界，业务方觉得你很吊



三.业务方按着你的思维套路提需求

第三层，通过不断的合作和赋能业务方，让业务方了解数据结构和数据分析的模式，可以站在系统化的角度提需求，

并且目标和期望是在我们已有能力范围内的。



四.业务方和你讨论解决方案

业务方已对你专业能力非常认可，也对你非常信任。在举棋不定或...]]></description><category></category></item><item><title><![CDATA[replace into和insert on duplicate key比较]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/89218181</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/89218181</guid><author>sinat_17697111</author><pubDate>Fri, 17 May 2019 17:24:15 +0800</pubDate><description><![CDATA[mysql有两种 插入新数据的方法replace into 和insert on duplicate key

replace into：

replace into 跟 insert 功能类似，不同点在于：replace into 首先尝试插入数据到表中，1. 如果发现表中已经有此行数据（根据主键或者唯一索引判断）则先删除此行数据，然后插入新的数据。 2. 否则，直接插入新数据。

1.(根...]]></description><category></category></item><item><title><![CDATA[presto 提取json数组中的json对象]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/89385108</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/89385108</guid><author>sinat_17697111</author><pubDate>Thu, 18 Apr 2019 18:27:04 +0800</pubDate><description><![CDATA[使用json_array_get函数，可以提取json数组中的指定位置，默认第一位的索引是0

json_array_get(json对象, 0)
]]></description><category></category></item><item><title><![CDATA[Hive sql优化]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/88973192</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/88973192</guid><author>sinat_17697111</author><pubDate>Tue, 09 Apr 2019 18:42:01 +0800</pubDate><description><![CDATA[hive sql 运行太慢，如何优化？

经验不丰富的数据分析或者BI工程师往往上来就看sql,调整sql内容，其实不然。

一.业务层面

first of all, 优先了解sql反应的业务，先把业务梳理清晰，去除掉不必要的表，关联。

这个只能泛泛而谈，但确是sql优化应该最先考虑的。在有一定业务经验后，根据实际情况进行优化。



二.每张数据表的性能

1.数据表的存储格式，存储硬盘（...]]></description><category></category></item><item><title><![CDATA[presto函数大全 中文版]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/89101124</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/89101124</guid><author>sinat_17697111</author><pubDate>Mon, 08 Apr 2019 18:38:03 +0800</pubDate><description><![CDATA[Functions and Operators

基于Presto 0.215版本的中文注释 函数大全，参考官方文档：https://prestodb.github.io/docs/0.215/functions.html



6.1. 逻辑操作
6.2. 比较函数和运算符
6.3. 条件表达式
6.4. Lambda 表达式
6.5. 转换函数
6.6. 数学函数和运算符
6.7. 位运算函...]]></description><category></category></item><item><title><![CDATA[HIVE和HBASE区别]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/88887380</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/88887380</guid><author>sinat_17697111</author><pubDate>Fri, 29 Mar 2019 11:28:53 +0800</pubDate><description><![CDATA[HIVE和HBASE区别

1. 两者分别是什么？

Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。

Apache...]]></description><category></category></item><item><title><![CDATA[hive sql执行方式对比（tez,mapreduce,spark,storm）]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/88851929</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/88851929</guid><author>sinat_17697111</author><pubDate>Wed, 27 Mar 2019 18:27:43 +0800</pubDate><description><![CDATA[执行方式
			
			
			简介
			
			
			优点
			
			
			缺点
			
		
			MapReduce
			
			
			是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算
			
			
			大数据量下优势明显
			
			
			读写hdfs次数多；数据量不大时性能一般
			
		
			Tez
		...]]></description><category></category></item><item><title><![CDATA[dbeaver常用快捷键]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/88800616</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/88800616</guid><author>sinat_17697111</author><pubDate>Mon, 25 Mar 2019 17:37:02 +0800</pubDate><description><![CDATA[hot key
ctrl + enter 执行sql

ctrl + \ 执行sql,保留之前窗口结果
ctrl + shift + ↑ 向上复制一行
ctrl + shift + ↓ 向下复制一行
ctrl + alt + F 对sql语句进行格式化，对于很长的sql语句很有用
ctrl + d 删除当前行
alt + ↑ 向上选定一条sql语句
alt + ↓ 向下选定一条sql语句
ctr...]]></description><category></category></item><item><title><![CDATA[pip install cv2报错]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/87630346</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/87630346</guid><author>sinat_17697111</author><pubDate>Mon, 18 Feb 2019 17:05:33 +0800</pubDate><description><![CDATA[代码中有


import cv2

 

惯性思维使用pip install cv2,报错，需要安装 这个包opencv-python

 

执行：

pip install opencv-python

成功]]></description><category></category></item><item><title><![CDATA[安装scrapy库报错Command "python setup.py egg_info" failed with error code 1 in /tmp/pip-build-6tq4pm2l/Tw]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/86594147</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/86594147</guid><author>sinat_17697111</author><pubDate>Tue, 22 Jan 2019 14:29:42 +0800</pubDate><description><![CDATA[安装scrapy库报错
Command &quot;python setup.py egg_info&quot; failed with error code 1 in /tmp/pip-build-6tq4pm2l/Twisted/

百度的方法：
python3 -m pip install --upgrade --force pip --user
pip install setuptools==33.1.1

...]]></description><category></category></item><item><title><![CDATA[hive 动态分区参数设置]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/84841699</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/84841699</guid><author>sinat_17697111</author><pubDate>Wed, 05 Dec 2018 19:14:15 +0800</pubDate><description><![CDATA[使用Hive动态分区需要注意设定以下参数：

1.是否开启动态分区功能，默认false关闭。 
默认值：false

hive.exec.dynamic.partition =false
1
使用动态分区时候，该参数必须设置成true;

hive.exec.dynamic.partition =true
1
2.动态分区的模式: 
默认值：strict

hive.exec.dynamic.pa...]]></description><category></category></item><item><title><![CDATA[引用skearn报错ImportError: cannot import name 'cross_validation']]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/84835873</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/84835873</guid><author>sinat_17697111</author><pubDate>Wed, 05 Dec 2018 14:42:49 +0800</pubDate><description><![CDATA[sklearn更新后执行下面的可能会报错

from sklearn.cross_validation import train_test_split

报错ImportError: cannot import name 'cross_validation'

 

 

解决方法：

库路径变了

改为：

from sklearn.model_selection import KFold

f...]]></description><category></category></item><item><title><![CDATA[Hive分区（静态分区+动态分区）]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/84648915</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/84648915</guid><author>sinat_17697111</author><pubDate>Fri, 30 Nov 2018 14:08:08 +0800</pubDate><description><![CDATA[
Hive分区的概念与传统关系型数据库分区不同。

传统数据库的分区方式：就oracle而言，分区独立存在于段里，里面存储真实的数据，在数据进行插入的时候自动分配分区。

Hive的分区方式：由于Hive实际是存储在HDFS上的抽象，Hive的一个分区名对应一个目录名，子分区名就是子目录名，并不是一个实际字段。


 

所以可以这样理解，当我们在插入数据的时候指定分区，其实就是新建一个目录或者子...]]></description><category></category></item><item><title><![CDATA[Hive中join的三种方式]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/84323218</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/84323218</guid><author>sinat_17697111</author><pubDate>Wed, 21 Nov 2018 15:27:14 +0800</pubDate><description><![CDATA[一.common join

 common join也叫做shuffle join，reduce join操作。适用于两个table的大小相当，但是又不是很大的情况下使用。具体流程就是在map端进行数据的切分，一个block对应一个map操作，然后进行shuffle操作，把对应的block shuffle到reduce端去，再逐个进行联合。

缺点：容易产生数据倾斜，大数据量下性能不好

 

...]]></description><category></category></item><item><title><![CDATA[hive,spark sql优化]]></title><link>https://blog.youkuaiyun.com/sinat_17697111/article/details/83793663</link><guid>https://blog.youkuaiyun.com/sinat_17697111/article/details/83793663</guid><author>sinat_17697111</author><pubDate>Tue, 06 Nov 2018 20:40:20 +0800</pubDate><description><![CDATA[一.hive sql优化

1.发生数据倾斜，如何解决？

什么是数据倾斜？

由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点

1.1 原因
1)、key分布不均匀
2)、业务数据本身的特性
3)、建表时考虑不周
4)、某些SQL语句本身就有数据倾斜
1.2 表现
任务进度长时间维持在99%（或100%），查看任务监控页面，发现只有少量（1个或几个）reduce子任务未完成。因为其...]]></description><category></category></item></channel></rss>