- 博客(2)
- 收藏
- 关注
转载 对“大数据”的理解
架构挑战:1、对现有数据库管理技术的挑战。2、经典数据库技术并没有考虑数据的多类别(variety)、SQL(结构化数据查询语言),在设计的一开始是没有考虑到非结构化数据的存储问题。3、实时性技术的挑战:一般而言,传统数据仓库系统,BI应用,对处理时间的要求并不高。因此这类应用通过建模,运行1-2天获得结果依然没什么问题。但实时处理的要求,是区别大数据应用和传统数据仓库技术
2017-11-02 11:45:45
1418
转载 大数据处理过程之核心技术ETL学习过程记录
大数据技术之数据采集ETL:这里不过多的说数据采集的过程,可以简单的理解:有数据库就会有数据。这里我们更关注数据的ETL过程,而ETL前期的过程,只需要了解其基本范畴就OK。在数据挖掘的范畴了,数据清洗的前期过程,可简单的认为就是ETL的过程。ETL的发展过程伴随着数据挖掘至今,其相关技术也已非常成熟。这里我们也不过多的探讨ETL过程,日后如有涉及,在细分。概念:
2017-11-02 11:35:26
2499
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人