<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[老姜的数据江湖]]></title><description><![CDATA[致力于大数据数仓、数据治理以及周边技术分享~]]></description><link>https://blog.youkuaiyun.com/wei_bigdata</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wei_bigdata]]></copyright><item><title><![CDATA[一个完整的关于数仓构建的流程]]></title><link>https://blog.youkuaiyun.com/wei_bigdata/article/details/127050102</link><guid>https://blog.youkuaiyun.com/wei_bigdata/article/details/127050102</guid><author>wei_bigdata</author><pubDate>Mon, 26 Sep 2022 11:17:59 +0800</pubDate><description><![CDATA[介绍大数据数仓构建全流程，对整体0-1构建数仓提供整体思路。]]></description><category></category></item><item><title><![CDATA[大数据调度平台oozie、azkaban、dolphinscheduler对比]]></title><link>https://blog.youkuaiyun.com/wei_bigdata/article/details/121229784</link><guid>https://blog.youkuaiyun.com/wei_bigdata/article/details/121229784</guid><author>wei_bigdata</author><pubDate>Tue, 09 Nov 2021 16:07:14 +0800</pubDate><description><![CDATA[大数据调度平台目前多样化，如何选择适合自己公司得调度平台，老姜给大家罗列三种调度平台性能对比。





DolphinScheduler
Azkaban
Oozie




定位
解决数据处理流程中错综复杂的依赖关系
为了解决Hadoop的任务依赖关系问题
管理Hdoop作业（job）的工作流程调度管理系统


任务类型支持
支持传统的shell任务，同时支持大数据平台任务调度：MR、Spark、SQL(mysql、postgresql、hive/sparksql)、python、procedure、su]]></description><category></category></item><item><title><![CDATA[HQL 报 return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask 错误解决方案]]></title><link>https://blog.youkuaiyun.com/wei_bigdata/article/details/121115566</link><guid>https://blog.youkuaiyun.com/wei_bigdata/article/details/121115566</guid><author>wei_bigdata</author><pubDate>Wed, 03 Nov 2021 10:41:09 +0800</pubDate><description><![CDATA[执行一段HQL之后，报了如下错误
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTas

此错误只能通过yarn 日志进行查看，通过查看发现报OOM，解决OOM问题不能单纯增加计算空间，比如MAP以及REDUCE计算空间。
我们首先看一下日志错误阶段，
通过日志观察实在STAGE２阶段的map阶段就报错，并没有到REDUCE阶段。
那我们就可以来看看这段SQL explain 执行计划，]]></description><category></category></item><item><title><![CDATA[大数据hive性能调优详解系列之hive架构层面调优_数仓工程师必备hive调优方案]]></title><link>https://blog.youkuaiyun.com/wei_bigdata/article/details/121020162</link><guid>https://blog.youkuaiyun.com/wei_bigdata/article/details/121020162</guid><author>wei_bigdata</author><pubDate>Thu, 28 Oct 2021 18:51:06 +0800</pubDate><description><![CDATA[大数据技术框架中，hive组件作为数仓工程师必不可缺少的计算框架组件。本篇文章是hive性能调优详解系列之第三篇hive语法层面调优。
上两篇分别为
hive 建设表层面调优
hive 语法和参数层面调优
更多内容请关注哔哩：老姜的数据江湖，微信公众号同步；
Hive架构层面
1.启用本地抓取
Hive的某些SQL语句需要转换成MapReduce的操作，某些SQL语句就不需要转换成MapReduce操作，例如：

1.只是select *的时候
2.where条件针对分区字段进行筛选过滤时
3.带有limi]]></description><category></category></item><item><title><![CDATA[hive性能调优详解系列之hive语法和参数层面调优_数仓工程师必备hive调优方案]]></title><link>https://blog.youkuaiyun.com/wei_bigdata/article/details/120990824</link><guid>https://blog.youkuaiyun.com/wei_bigdata/article/details/120990824</guid><author>wei_bigdata</author><pubDate>Wed, 27 Oct 2021 16:57:21 +0800</pubDate><description><![CDATA[hive作为数仓工程师必不可缺少的计算组件，在工作中经常遇到一些调优问题，本篇文章是hive性能调优详解系列之第二篇hive语法层面调优。上一篇可点击hive建表设计层面调优
一.hive语法层面和参数调优
hive语法和参数调优将是hive调优一大重点，并能间接解决数据倾斜问题，同事提升运行效率也是重中之重。
1.1查看hive执行计划
Hive的SQL语句在执行之前需要将SQL语句转换成MapReduce任务，因此需要了解具体的转换过 程，可以在SQL语句中输入如下命令查看具体的执行计划。

##查看执]]></description><category></category></item><item><title><![CDATA[Hive性能调优详解系列之hive建表设计层面调优_数仓工程师必备hive调优方案]]></title><link>https://blog.youkuaiyun.com/wei_bigdata/article/details/120966496</link><guid>https://blog.youkuaiyun.com/wei_bigdata/article/details/120966496</guid><author>wei_bigdata</author><pubDate>Tue, 26 Oct 2021 14:45:46 +0800</pubDate><description><![CDATA[Hive作为大数据领域常用的数据仓库组件，在平时设计和查询时要特别注意效率。影响Hive效率的从来不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce分配不合理等等。]]></description><category></category></item><item><title><![CDATA[大数据数仓建设流程方案,数仓设计流程,适用于实际工作场景]]></title><link>https://blog.youkuaiyun.com/wei_bigdata/article/details/120952567</link><guid>https://blog.youkuaiyun.com/wei_bigdata/article/details/120952567</guid><author>wei_bigdata</author><pubDate>Mon, 25 Oct 2021 15:25:03 +0800</pubDate><description><![CDATA[大数据数仓概念
学术上：数据仓库，英文名称为Data Warehouse，可简写为DW或DWH，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的( Integrate）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理、运营决策。
技术上：不可更新的，反映历史变化]]></description><category></category></item><item><title><![CDATA[大数据数仓搭建-大数据用户画像推荐系统搭建]]></title><link>https://blog.youkuaiyun.com/wei_bigdata/article/details/96699568</link><guid>https://blog.youkuaiyun.com/wei_bigdata/article/details/96699568</guid><author>wei_bigdata</author><pubDate>Sun, 21 Jul 2019 12:57:33 +0800</pubDate><description><![CDATA[一 确定需求
我把需求主要分为三大类
一 离线数据报表需求
二 实时观查数据走向需求
三 算法需求
二 确定系统架构
根据需求我们目前有几种大数据架构可以供参考
流式架构

流式架构非常激进，直接拔掉了批处理，数据全程以流的形式处理，所以在数据接入端没有了ETL，转而替换为数据通道。经过流处理加工后的数据，以消息的形式直接推送给了消费者。虽然有一个存储部分，但是该存储更多的以窗口的形式进行存储，所...]]></description><category></category></item></channel></rss>