<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Stannis的博客]]></title><description><![CDATA[保持三分钟热度，奥里给]]></description><link>https://blog.youkuaiyun.com/Stannis</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Stannis]]></copyright><item><title><![CDATA[Hive小文件问题]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/130010064</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/130010064</guid><author>Stannis</author><pubDate>Fri, 07 Apr 2023 13:40:11 +0800</pubDate><description><![CDATA[【代码】Hive小文件问题。]]></description><category></category></item><item><title><![CDATA[元数据管理概述]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/130007366</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/130007366</guid><author>Stannis</author><pubDate>Fri, 07 Apr 2023 10:58:37 +0800</pubDate><description><![CDATA[参考公众号文章：数据治理：元数据及元数据管理策略、方法和技术]]></description><category></category></item><item><title><![CDATA[数据质量管理概述]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/130005614</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/130005614</guid><author>Stannis</author><pubDate>Fri, 07 Apr 2023 10:37:44 +0800</pubDate><description><![CDATA[指的是在组织业务，管理要求下，符合数据使用者满足业务，管理需求的评价方式。]]></description><category></category></item><item><title><![CDATA[数据倾斜问题]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/129991891</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/129991891</guid><author>Stannis</author><pubDate>Thu, 06 Apr 2023 16:22:12 +0800</pubDate><description><![CDATA[一个任务中，数据文件在进入map阶段之前会进行切分，默认是128M一个数据块，但是如果当对文件使用GZIP压缩等不支持文件分割操作的压缩方式时，MR任务读取压缩后的文件时，是对它切分不了的，该压缩文件只会被一个任务所读取，如果有一个超大的不可切分的压缩文件被一个map读取时，就会发生map阶段的数据倾斜。这里我们需要明确一个概念，数据放到同一个reduce中的原因不是因为字段能不能join上，而是因为shuffle阶段的hash操作，只要key的hash结果是一样的，它们就会被拉到同一个reduce中。]]></description><category></category></item><item><title><![CDATA[维度建模概述]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/129989235</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/129989235</guid><author>Stannis</author><pubDate>Thu, 06 Apr 2023 15:52:02 +0800</pubDate><description><![CDATA[因此，说白了，所谓的维度建模就是一种组织数据仓库的形式、模型，用这种方式组织搭建的数据仓库，对快速支持数据分析有着巨大的帮助。比如，在一个零售业数据仓库中，事实表存着销售人员的销售记录，某天一个销售人员从北京分公司调到上海分公司了，那么如何来保存、处理这个变化呢？在现实世界中，维度的属性并不是静态的，它会随着时间的流失发生缓慢的变化。所谓星座模型，是多个事实表共享维度表， 因而可以视为星型模型的集合，故亦称星座模型（星系模型）。另外，通常事实表中的。通常，最有用的事实就是数字类型的事实和可加类型的事实。]]></description><category></category></item><item><title><![CDATA[【Hive/Spark】常见参数配置]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/129930115</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/129930115</guid><author>Stannis</author><pubDate>Mon, 03 Apr 2023 15:08:17 +0800</pubDate><description><![CDATA[（用于spark3中字段类型不匹配（例如datetime无法转换成date），消除sql中时间歧义，将Spark .sql. LEGACY . timeparserpolicy设置为LEGACY来恢复Spark 3.0之前的状态来转化）（4）set spark.sql.finalStage.adaptive.advisoryPartitionSizeInBytes=2048M;]]></description><category></category></item><item><title><![CDATA[Hive基础知识（三）--分桶表]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123913573</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123913573</guid><author>Stannis</author><pubDate>Sat, 02 Apr 2022 11:37:40 +0800</pubDate><description><![CDATA[1、分桶表
分桶和分区一样，也是一种通过改变表的存储模式，从而完成对表优化的一种调优方式，但和分区不同的是，分区是将表拆分到不同的子目录中进行存储，而分桶是将表拆分到不同文件中进行存储。

2、分桶操作目的
改变数据的存储分布，提升查询、取样、Join等特定任务的执行效率。
3、分桶表的操作
CREATE [EXTERNAL] TABLE &lt;table_name&gt;
(&lt;col_name&gt; &lt;data_type&gt; [, &lt;col_name&gt; &lt;data_t]]></description><category></category></item><item><title><![CDATA[Hive基础知识（二）--分区表]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123878613</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123878613</guid><author>Stannis</author><pubDate>Fri, 01 Apr 2022 17:06:05 +0800</pubDate><description><![CDATA[二、表分区
1、创建分区表
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
[(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
[COMMENT table_comment]
PARTITIONED BY (col_name1 data_type, col_name2 data_type [COMMENT co]]></description><category></category></item><item><title><![CDATA[Hive基础知识（一）]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123871085</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123871085</guid><author>Stannis</author><pubDate>Thu, 31 Mar 2022 17:15:45 +0800</pubDate><description><![CDATA[一、SQL DDL
1、启动hive
首先使用【jps】查看hive是否启动
# 启动hiveserver2
hive --service hiveserver2 &amp;
# 启动metastore
hive --service metastore &amp;

2、进入hive
# 方法一：beeline方式（推荐）
beeline -u jdbc:hive2://node03:10000 -n root
# 方法二：hive cli方式
hive

3、数据库基本操作

创建数据库

create ]]></description><category></category></item><item><title><![CDATA[hive -e和 -f的区别]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123664604</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123664604</guid><author>Stannis</author><pubDate>Tue, 22 Mar 2022 16:37:16 +0800</pubDate><description><![CDATA[hive -e + sql语句

hive -e "create database mall;"


hive -f + sql文件

hive -f ../sql/ods_ddl.sql


]]></description><category></category></item><item><title><![CDATA[mysql默认不允许创建函数，修改以下内容]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123525771</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123525771</guid><author>Stannis</author><pubDate>Wed, 16 Mar 2022 14:31:59 +0800</pubDate><description><![CDATA[报错信息
ERROR 1418: This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA 
in its declaration and binary logging is enabled (you *might* want 
to use the less safe log_bin_trust_function_creators variable)

修改如下：
SET GLOBAL log_bin_trust_function]]></description><category></category></item><item><title><![CDATA[shell基础语法（持续更新ing）]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123401279</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123401279</guid><author>Stannis</author><pubDate>Fri, 11 Mar 2022 17:18:24 +0800</pubDate><description><![CDATA[一、变量
#!/bin/bash
echo "hello shell"

hello shell
# 变量
bianliang='变量'
b=2
echo $b
echo $bianliang;
bianliang_1='变量1'
echo ${bianliang_1}
_bianliang='变量2'
echo $_bianliang

2
变量
变量1
变量2
_readonly_='只读变量'
echo $_readonly_
readonly _readonly_
_readonly_='只读属性，]]></description><category></category></item><item><title><![CDATA[电信收费计费系统BI项目]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123263288</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123263288</guid><author>Stannis</author><pubDate>Fri, 04 Mar 2022 16:22:23 +0800</pubDate><description><![CDATA[一、数据仓库体系架构图

二、在Oracle数据库中创建三个用户




用户
代表数据仓库层级




bi_oltp
oltp


bi_ods
ods


bi_edw
edw



创建用户bi_oltp

create user bi_oltp identified by bi_oltp default tablespace users temporary tablespace temp profile default account unlock;
grant connect to bi_olt]]></description><category></category></item><item><title><![CDATA[数据库面试题汇总]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123269514</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123269514</guid><author>Stannis</author><pubDate>Fri, 04 Mar 2022 10:06:01 +0800</pubDate><description><![CDATA[1、SQL 中 on 条件与 where 条件的区别

数据库在通过连接两张或多张表来返回记录时，都会生成一张中间的临时表，然后再将这张临时表返回给用户。
在使用 left join 时，on 和 where 条件的区别如下：
1）on 条件是在生成临时表时使用的条件，它不管 on 中的条件是否为真，都会返回左边表中的记录。
2）where 条件是在临时表生成好后，再对临时表进行过滤的条件。这时已经没有 left join 的含义（必须返回左边表的记录）了，条件不为真的就全部过滤掉。

tbl_a




]]></description><category></category></item><item><title><![CDATA[某服务器数据清洗和简单分析]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123207085</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123207085</guid><author>Stannis</author><pubDate>Tue, 01 Mar 2022 15:31:45 +0800</pubDate><description><![CDATA[import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

df = pd.read_csv('log.txt',sep='\t',header=None)

df.head()




  
    
      
      0
      1
      2
      3
      4
      5
      6
      7
      8
    
  
  
    
      0
      201]]></description><category></category></item><item><title><![CDATA[北京某平台二手房分析]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/123187061</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/123187061</guid><author>Stannis</author><pubDate>Mon, 28 Feb 2022 17:11:03 +0800</pubDate><description><![CDATA[import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 解决中⽂显示问题
# plt.rcParams['font.sans-serif'] = [u'SimHei']
# plt.rcParams['axes.unicode_minus'] = False

df = pd.read_csv('二手房数据.csv',encoding='gb18030')

df.head]]></description><category></category></item><item><title><![CDATA[tableau基本图形绘制--以自带超市数据为例]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/122255445</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/122255445</guid><author>Stannis</author><pubDate>Wed, 05 Jan 2022 17:56:15 +0800</pubDate><description><![CDATA[1、条形图
将【发货日期】拖到筛选器，选择【年/月】，选择【2021年12月】，将【销售额】和【省/自治区】拖到行列，选择【升序】或者【降序】，并且可以选择【水平条形图】或者垂直条形图，然后将【类别】拖到颜色，并进行排序。







2、直方图
字段【年龄】创建数据桶，并设置数据桶名称和数据桶大小，将生成的新字段和【客户（计数）】拖到行列，生成图表，并更改坐标名称。




3、饼图
【标记】选择【饼图】，将【区域】拖到颜色，【销售额】拖到角度，【区域】、【销售额】拖到标签，并对销售额进行【快速表计算】]]></description><category></category></item><item><title><![CDATA[Pandas实用小功能]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/122091111</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/122091111</guid><author>Stannis</author><pubDate>Wed, 22 Dec 2021 17:31:17 +0800</pubDate><description><![CDATA[Pandas实用小功能
import pandas as pd
import numpy as np

1、读取时抽样百分比
data = pd.read_csv(r'..\test.csv',encoding='utf-8',
                  skiprows = lambda x: x&gt;0 and np.random.rand() &gt; 0.5)
data.head()




  
    
      
      PassengerId
      Pclass
  ]]></description><category></category></item><item><title><![CDATA[EXCEL常见操作]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/121292147</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/121292147</guid><author>Stannis</author><pubDate>Tue, 14 Dec 2021 09:54:56 +0800</pubDate><description><![CDATA[1、数据汇总：Alt  +


2、数据差异性对比：Ctrl  \


3、一键提取/合并：Ctrl E


4、一键美化表格：Ctrl T 或者 Ctrl L


5、输入大额整数

6、数据验证功能

7、连接符：&amp;
8、多区域/多工作表同时录入：CTRL全部选中，输入内容(还可以输入函数，如RANDBETWEEN(1,100)，生成1-100的随机数)，CTRL+enter



接下来第三章！！！

...]]></description><category></category></item><item><title><![CDATA[数据看板--日报、周报、月报]]></title><link>https://blog.youkuaiyun.com/Stannis/article/details/121908338</link><guid>https://blog.youkuaiyun.com/Stannis/article/details/121908338</guid><author>Stannis</author><pubDate>Mon, 13 Dec 2021 16:59:42 +0800</pubDate><description><![CDATA[一、数据预览

二、效果图预览

三、新增字段
1、周数
WEEKNUM(B2,2)

2、月份
MONTH(B2)

备注：B2为日期列
四、看板制作过程
1、控件
控件范围从1到364，用于控制每天的日期

2、通过控件确定当前日期
当天日期=基准数字+表单控件当前值
星期几=TEXT(当天日期,“aaaa”)

3、计算当天销售额和订单数
SUMIFS(数据!$F:$F,数据!$B:$B,日报思路!$G$2)
COUNTIF(数据!$B:$B,日报思路!$G$2)
--$G$2代表当天日期


4、计]]></description><category></category></item></channel></rss>