大数据
关注
分享
扫一扫
文章平均质量分 51
人月神话
if not now , when?
if not me , who?
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
AWS-大数据之redshift
准备研究一下AWS平台对大数据的支持，我之前用的是aliyun的maxcompute，在国内比较好，但是如果要想把业务扩展到国际，阿里云可能没有AWS那么大的优势。 太细节的东西我就懒得写了，只要给大家梳理一下流程思路，细节的东西我会找到相应的文档贴出来。 入门步骤 一、选国际AWS服务，但是要越过那道。。。你懂的 AWS现在也入驻国内了，但是支持企业去注册，这点比较尴尬，所以也只能用国外的服务 ...原创 2018-12-04 10:22:11 · 7528 阅读 · 0 评论 -
AWS大数据之kinesis
kinesis中又包括了Amazon Kinesis Streams与Amazon Kinesis Firehose Amazon Kinesis Streams 通过 Amazon Kinesis Streams，您可以构建自己的自定义应用程序来处理或分析流数据，以满足特定需求。它能够每小时从成千上万个来源连续捕获和存储数 TB 的数据。然后，您可以构建应用程序来处理来自 Amazon Kine...原创 2018-12-04 14:15:16 · 3663 阅读 · 0 评论 -
AWS大数据之组件整合
kafka或kinesis 做数据收集 S3+redshift 做数仓 EMR做计算 RDS做数据市场 AWS Glue / AWS Data Pipeline 做数据集成 这些组件配合起来，几乎可以做各种方式的数据分析 kinesis还是比较推荐，延迟时间可以配置的算是实时的，而且功能会多一点，聚合、过滤什么的都可以 ...原创 2018-12-04 14:23:48 · 1308 阅读 · 0 评论 -
大数据平台001-数据埋点
数据埋点如何实现？ 一、可以通过第三方平台来完成，比如诸葛io、growing io、神策等 二、自埋点之全自动化埋点 三、自埋点之手动埋点 四、自埋点之半自动化埋点 不建议第三方平台，由于要做到通用，他们支持的功能是有限的并且不提供无始数据。 自埋点的方建议全自动化埋点，因为不太希望新增或修改页面时要增加额外的埋点工作量，虽然对于数据平台来说手动埋点更加的精准和方便一些。 所以以下篇辐都是介绍全...原创 2018-11-27 17:53:14 · 2946 阅读 · 0 评论 -
大数据平台002-数据平台技术组件概述
我的数据平台需要具备哪些能力？以及数据平台技术选型及理由 本文就针对以上两个问题为大家进行一次概述 数据平台应该具备的能力 一、应该具有多维度抓取数据的能力,能够通过ETL或者数据流组件的方式 ETL，是英文 Extract-Transform-Load 的缩写，用来把数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至数据仓库的过程。源端一般包括各种数据库，...原创 2018-11-28 11:39:06 · 809 阅读 · 1 评论