<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[端茶倒水个体户的专栏]]></title><description><![CDATA[专门服务于各公司端茶倒水工作]]></description><link>https://blog.youkuaiyun.com/Gospelanswer</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Gospelanswer]]></copyright><item><title><![CDATA[数据开发常规技术栈]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/88929379</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/88929379</guid><author>Gospelanswer</author><pubDate>Sun, 31 Mar 2019 15:18:51 +0800</pubDate><description><![CDATA[闲来无事梳理一下个人眼中数据开发的技术栈，不喜勿喷~（PS:技术栈并不代表每个都需要会，只是希望在一定程度上能帮助大家查漏补缺）


]]></description><category></category></item><item><title><![CDATA[Kylin基础优化]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/88928917</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/88928917</guid><author>Gospelanswer</author><pubDate>Sun, 31 Mar 2019 15:06:32 +0800</pubDate><description><![CDATA[目录

一Kylin的使用场景

二 Kylin的使用指南

三 Kylin的维度优化

2 设置强制维度

3 设置层级维度

4 设置联合维度

5 设置Extended Column

四 其余方面优化

一Kylin的使用场景

Kylin的主要应用场景在于多维分析。在进行多维CUBE构建的时候维度是影响其性能的主要因素，需要注意的是目前Kylin虽然对维度数量不做限制，但是对生成的c...]]></description><category></category></item><item><title><![CDATA[Spark Streaming消费kafka示例]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/79832178</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/79832178</guid><author>Gospelanswer</author><pubDate>Fri, 06 Apr 2018 11:50:43 +0800</pubDate><description><![CDATA[一 组件版本Spark版本：spark-2.1.1-bin-hadoop2.7Kafka版本：kafka_2.11-0.11.0.0Scala版本：2.11.8Tips：用scala 2.12.x的版本会报方法不存在错误二 POM文件内容&amp;lt;dependencies&amp;gt;
    &amp;lt;dependency&amp;gt;
        &amp;lt;groupId&amp;gt;org.apache.spa...]]></description><category></category></item><item><title><![CDATA[Hive优化的基本方法]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/78714410</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/78714410</guid><author>Gospelanswer</author><pubDate>Mon, 04 Dec 2017 23:01:35 +0800</pubDate><description><![CDATA[hive的一些常规优化]]></description><category></category></item><item><title><![CDATA[我眼中的数据仓库]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/78452216</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/78452216</guid><author>Gospelanswer</author><pubDate>Sun, 05 Nov 2017 20:45:50 +0800</pubDate><description><![CDATA[概述
作为一个在传统行业和互联网行业都打过杂的数据码农，今天简单谈一下个人对数据仓库的理解，以及传统行业和互联网行业之间数据仓库建设的区别，希望对刚接触数据仓库的同学起到积极的作用。有说的不对的地方欢迎评论指正。
一 数据仓库定义
数据仓库官方定义，数据仓库的定义在百度百科早已存在，这里暂且不表。说一下个人理解，数据仓库其实是一个相对抽象的概念，其对应的实体可以是数据库表也可以是一堆Exce]]></description><category></category></item><item><title><![CDATA[浅谈数据仓库和大数据]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/78208761</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/78208761</guid><author>Gospelanswer</author><pubDate>Wed, 11 Oct 2017 21:34:49 +0800</pubDate><description><![CDATA[欢迎进QQ群讨论：672600296

----------------------------------------------------------------------

前言

数据仓库是今年来适应利用数据支持决策分析的强烈需求而发展起来的数据库应用技术，诚然，数据仓库以数据库为基础，但是他在需求、客户、体系结构与运行机制等方面与数据库存在重大的不同，Kimball说:"我们花了二十...]]></description><category></category></item><item><title><![CDATA[浅谈BI和大数据的关系]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/78187117</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/78187117</guid><author>Gospelanswer</author><pubDate>Mon, 09 Oct 2017 21:39:46 +0800</pubDate><description><![CDATA[欢迎进QQ群讨论：672600296

----------------------------------------------------------------------

前言

最近发现很多人都想入门大数据，有刚毕业甚至还没毕业的学生也有从其他方向转过来的工程师，甚至于很多人问做BI挣得的钱多还是做大数据挣得钱多

本文简单的阐述一下笔者对其的理解，仅供参考~

一 概念

BI又称...]]></description><category></category></item><item><title><![CDATA[拉链表的使用以及实现]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/75407079</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/75407079</guid><author>Gospelanswer</author><pubDate>Wed, 19 Jul 2017 16:22:26 +0800</pubDate><description><![CDATA[转载一下朋友的博客，拉拉人气~
http://blog.youkuaiyun.com/zhaodedong/article/details/54177686]]></description><category></category></item><item><title><![CDATA[搭建即席查询平台]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/75403225</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/75403225</guid><author>Gospelanswer</author><pubDate>Wed, 19 Jul 2017 16:14:29 +0800</pubDate><description><![CDATA[1.环境介绍
  三台机器分布式查询
  hadoop2.6.4+hive1.2.2+presto0.173+yanagishima5.0+jdk1.8.0_121
2.安装
  hadoop和hive的安装部署略过。
  2.1presto安装
  下载prestoy和discovery安装文件并解压到相应路径
  mkdir -p /data/hadoop/presto]]></description><category></category></item><item><title><![CDATA[面试总结]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/70186659</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/70186659</guid><author>Gospelanswer</author><pubDate>Sat, 15 Apr 2017 20:24:39 +0800</pubDate><description><![CDATA[最近面试了几家公司，把整个过程中的能记得的问题和自己当时的回答记录一下，希望对一些朋友有用。可能有的说的不是很准确，勿喷！
面试总结：
一.HQL部分
  1.hql的行转列怎么实现
  答:1.多个字段转一个字段可以使用union all
      2.一个字段里面内容按逗号分隔转一个字段多行使用表生成函数，即：lateral view explode
  2.count(distinct x]]></description><category></category></item><item><title><![CDATA[hive提示jline接口过期的问题]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/54987716</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/54987716</guid><author>Gospelanswer</author><pubDate>Sat, 11 Feb 2017 21:44:50 +0800</pubDate><description><![CDATA[由于项目需要，将hadoop2.6.4重新编译支持了snappy压缩。重新部署成功以后跑了个wordcount没有任何问题。
满心欢喜启动hive，结果报错！！！
错误信息如下：
[ERROR] Terminal initialization failed; falling back to unsupported
java.lang.IncompatibleClassChangeError]]></description><category></category></item><item><title><![CDATA[编译hadoop支持snappy压缩]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/54917435</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/54917435</guid><author>Gospelanswer</author><pubDate>Tue, 07 Feb 2017 22:29:45 +0800</pubDate><description><![CDATA[kylin在build cube时出现hadoop不支持snappy压缩的问题，原因是Hadoop的二进制安装包中没有snappy支持，需要手工重新编译。

编译过程：
1. 安装包列表
snappy-1.1.1.tar.gz
protobuf-2.5.0.tar.gz
hadoop-2.6.4-src.tar.gz


2. 编译安装snappy
tar -zxvf snap]]></description><category></category></item><item><title><![CDATA[kylin安装部署]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/54917331</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/54917331</guid><author>Gospelanswer</author><pubDate>Tue, 07 Feb 2017 22:17:43 +0800</pubDate><description><![CDATA[环境简介
Hadoop2.6.4
Hbase-1.1.5
Zookeeper-3.4.6
Hive-1.2.1
JDK: 1.7+
安装流程
1， 解压
tar -zxvf apache-kylin-1.6.0-hbase1.x-bin.tar.gz
 
2， 配置环境变量
sudo vi /etc/profile
export KYLIN_HOME=${dir}/kyli]]></description><category></category></item><item><title><![CDATA[phoenix的安装配置]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/52014826</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/52014826</guid><author>Gospelanswer</author><pubDate>Sun, 24 Jul 2016 16:55:56 +0800</pubDate><description><![CDATA[一，下载并解压phoenix的压缩包（压缩包版本根据自己hbase版本而定）
     tar –zxvf phoenix-4.7.0-HBase-1.1-bin
二，配置phoenix
     1，将phoenix-4.7.0-HBase-1.1-bin目录下的phoenix-4.7.0-HBase-1.1-client.jar，phoenix-core-4.7.0-HBase-1.1.]]></description><category></category></item><item><title><![CDATA[hadoop分布式搭建]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/52000176</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/52000176</guid><author>Gospelanswer</author><pubDate>Fri, 22 Jul 2016 23:37:57 +0800</pubDate><description><![CDATA[hadoop,hbase]]></description><category></category></item><item><title><![CDATA[小试一下]]></title><link>https://blog.youkuaiyun.com/Gospelanswer/article/details/50721840</link><guid>https://blog.youkuaiyun.com/Gospelanswer/article/details/50721840</guid><author>Gospelanswer</author><pubDate>Tue, 23 Feb 2016 11:31:45 +0800</pubDate><description><![CDATA[blog]]></description><category></category></item></channel></rss>