AcceptedLin的博客

数据仓库的层级架构来理解一下两者在架构设计上的联系和区别。teradata一般是对企业级数据仓库而言，在Teradata的数据仓库架构，一般是缓冲层，模型层，集市层。如下图所示：ods：贴源层，保存源系统细节数据。源系统为oracle数据库，一般有多个。通过fastload或tpump或者mutilload等工具加载到数据仓库缓冲层中，设计缓冲层主要是从技术实现的角度考虑。基础层根据业务划分主题，通过...

                                       海量数据面试题及解析 一. 基础知识1. 哈希函数哈希函数使用哈希来分流经典的哈希函数有MD5, SHA1等, 不是必须掌握, 可以适当了解.2. map-reduce原理展现: 使用word-count案例1) 预处理预处理2) map阶段map3) re...

                                   Redis学习笔记1. Redis介绍Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如 字符串（strings）， 散列（hashes）， 列表（lists）， 集合（sets）， 有序集合（sorted sets） 与范围查询， bit...

                                              Mac hive 配置和安装安装brew install hive该命令默认安装的版本较新，我的是 hive2.3.1,安装位置：/usr/local/Cellar/hive/环境变量,修改的是当前用户 vim ~/.bash_profileexport HIVE_HOME=/usr/...

              hive学习之--导入数据成功，查询显示NULLhive导入数据成功，但是查询结果为NULL：load data local inpath '/user/hive/student.txt' into table hive_test.students;Loading data to table hive_test.studentsOK select...

                                      分布式计算框架Hadoop是基础，其中的HDFS提供文件存储，Yarn进行资源管理。在这上面可以运行MapReduce、Spark、Tez等计算框架。MapReduce:是一种离线计算框架，将一个算法抽象成Map和Reduce两个阶段进行处理，非常适合数据密集型计算。Spark:Spark是UC Berkele...