- 博客(16)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 数据开发常规技术栈
闲来无事梳理一下个人眼中数据开发的技术栈，不喜勿喷~（PS:技术栈并不代表每个都需要会，只是希望在一定程度上能帮助大家查漏补缺）
2019-03-31 15:18:51
712
原创 Kylin基础优化
目录一Kylin的使用场景二 Kylin的使用指南三 Kylin的维度优化2 设置强制维度3 设置层级维度4 设置联合维度5 设置Extended Column四 其余方面优化一Kylin的使用场景Kylin的主要应用场景在于多维分析。在进行多维CUBE构建的时候维度是影响其性能的主要因素，需要注意的是目前Kylin虽然对维度数量不做限制，但是对生成的c...
2019-03-31 15:06:32
752
原创 Spark Streaming消费kafka示例
一 组件版本Spark版本：spark-2.1.1-bin-hadoop2.7Kafka版本：kafka_2.11-0.11.0.0Scala版本：2.11.8Tips：用scala 2.12.x的版本会报方法不存在错误二 POM文件内容<dependencies> <dependency> <groupId>org.apache.spa...
2018-04-06 11:50:43
2287
原创 我眼中的数据仓库
概述作为一个在传统行业和互联网行业都打过杂的数据码农，今天简单谈一下个人对数据仓库的理解，以及传统行业和互联网行业之间数据仓库建设的区别，希望对刚接触数据仓库的同学起到积极的作用。有说的不对的地方欢迎评论指正。一 数据仓库定义数据仓库官方定义，数据仓库的定义在百度百科早已存在，这里暂且不表。说一下个人理解，数据仓库其实是一个相对抽象的概念，其对应的实体可以是数据库表也可以是一堆Exce
2017-11-05 20:45:50
1040
原创 浅谈数据仓库和大数据
欢迎进QQ群讨论：672600296----------------------------------------------------------------------前言数据仓库是今年来适应利用数据支持决策分析的强烈需求而发展起来的数据库应用技术，诚然，数据仓库以数据库为基础，但是他在需求、客户、体系结构与运行机制等方面与数据库存在重大的不同，Kimball说:"我们花了二十...
2017-10-11 21:34:49
17162
原创 浅谈BI和大数据的关系
欢迎进QQ群讨论：672600296----------------------------------------------------------------------前言最近发现很多人都想入门大数据，有刚毕业甚至还没毕业的学生也有从其他方向转过来的工程师，甚至于很多人问做BI挣得的钱多还是做大数据挣得钱多本文简单的阐述一下笔者对其的理解，仅供参考~一 概念BI又称...
2017-10-09 21:39:46
11584
2
转载 拉链表的使用以及实现
转载一下朋友的博客，拉拉人气~http://blog.youkuaiyun.com/zhaodedong/article/details/54177686
2017-07-19 16:22:26
1766
原创 搭建即席查询平台
1.环境介绍 三台机器分布式查询 hadoop2.6.4+hive1.2.2+presto0.173+yanagishima5.0+jdk1.8.0_1212.安装 hadoop和hive的安装部署略过。 2.1presto安装 下载prestoy和discovery安装文件并解压到相应路径 mkdir -p /data/hadoop/presto
2017-07-19 16:14:29
1939
3
原创 面试总结
最近面试了几家公司，把整个过程中的能记得的问题和自己当时的回答记录一下，希望对一些朋友有用。可能有的说的不是很准确，勿喷！面试总结：一.HQL部分 1.hql的行转列怎么实现 答:1.多个字段转一个字段可以使用union all 2.一个字段里面内容按逗号分隔转一个字段多行使用表生成函数，即：lateral view explode 2.count(distinct x
2017-04-15 20:24:39
1136
原创 hive提示jline接口过期的问题
由于项目需要，将hadoop2.6.4重新编译支持了snappy压缩。重新部署成功以后跑了个wordcount没有任何问题。满心欢喜启动hive，结果报错！！！错误信息如下：[ERROR] Terminal initialization failed; falling back to unsupportedjava.lang.IncompatibleClassChangeError
2017-02-11 21:44:50
616
原创 编译hadoop支持snappy压缩
kylin在build cube时出现hadoop不支持snappy压缩的问题，原因是Hadoop的二进制安装包中没有snappy支持，需要手工重新编译。编译过程：1. 安装包列表snappy-1.1.1.tar.gzprotobuf-2.5.0.tar.gzhadoop-2.6.4-src.tar.gz2. 编译安装snappytar -zxvf snap
2017-02-07 22:29:45
2893
原创 kylin安装部署
环境简介Hadoop2.6.4Hbase-1.1.5Zookeeper-3.4.6Hive-1.2.1JDK: 1.7+安装流程1， 解压tar -zxvf apache-kylin-1.6.0-hbase1.x-bin.tar.gz 2， 配置环境变量sudo vi /etc/profileexport KYLIN_HOME=${dir}/kyli
2017-02-07 22:17:43
4024
原创 phoenix的安装配置
一，下载并解压phoenix的压缩包（压缩包版本根据自己hbase版本而定） tar –zxvf phoenix-4.7.0-HBase-1.1-bin二，配置phoenix 1，将phoenix-4.7.0-HBase-1.1-bin目录下的phoenix-4.7.0-HBase-1.1-client.jar，phoenix-core-4.7.0-HBase-1.1.
2016-07-24 16:55:56
1044
mybase_7.3.4.rar
2020-02-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人