weixin_42655645的博客

转载 为什么我们需要数据仓库(转自数据治理之道)

思考：没有数据仓库，我们也能完成数据分析任务。那么，建设数据仓库的理由是什么？如果直接从业务数据库取数据没有数据仓库时，我们需要直接从业务数据库中取数据来做分析。业务数据库主要是为业务操作服务，虽然可以用于分析，但需要做很多额外的调整，在我看来，主要有以下几个问题：结构复杂，数据脏乱，难以理解，缺少历史，大规模查询缓慢。下面来简单解释一下这几个问题。结构复杂业务数据库通常是根据业务操作的...

转载 一张图看懂 SQL 的各种 join 用法

摘自作者：C.L. Moffatthttp://www.codeproject.com/Articles/33052/Visual-Representation-of-SQL-Joins下图展示了 LEFT JOIN、RIGHT JOIN、INNER JOIN、OUTER JOIN 相关的 7 种用法。具体分解如下：1.INNER JOIN（内连接） SELECT...

原创 大数据离线项目--新增用户的思维导图

原创 大数据项目离线流程

大数据离线流程1、数据来源获取方式：在页面预埋一段js程序，为页面上想要监听的标签绑定事件，只要用户点击或移动到标签，即可触发请求到nginx服务器，从而在nginx服务器上形成不断增长的日志文件。本次项目中java sdk的作用主要就是发送支付成功/退款成功的信息给nginx服务器2、数据采集我们需要将用户浏览的数据采集到我们的存储系统(hdfs)中，那么在本次课程中，我们只收集pc...