大数据
关注
分享
扫一扫
文章平均质量分 51
人月神话
if not now , when?
if not me , who?
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
AWS-大数据之redshift
准备研究一下AWS平台对大数据的支持，我之前用的是aliyun的maxcompute，在国内比较好，但是如果要想把业务扩展到国际，阿里云可能没有AWS那么大的优势。太细节的东西我就懒得写了，只要给大家梳理一下流程思路，细节的东西我会找到相应的文档贴出来。入门步骤一、选国际AWS服务，但是要越过那道。。。你懂的AWS现在也入驻国内了，但是支持企业去注册，这点比较尴尬，所以也只能用国外的服务...原创 2018-12-04 10:22:11 · 7528 阅读 · 0 评论 -
AWS大数据之kinesis
kinesis中又包括了Amazon Kinesis Streams与Amazon Kinesis FirehoseAmazon Kinesis Streams通过 Amazon Kinesis Streams，您可以构建自己的自定义应用程序来处理或分析流数据，以满足特定需求。它能够每小时从成千上万个来源连续捕获和存储数 TB 的数据。然后，您可以构建应用程序来处理来自 Amazon Kine...原创 2018-12-04 14:15:16 · 3663 阅读 · 0 评论 -
AWS大数据之组件整合
kafka或kinesis 做数据收集S3+redshift 做数仓EMR做计算RDS做数据市场AWS Glue / AWS Data Pipeline 做数据集成这些组件配合起来，几乎可以做各种方式的数据分析kinesis还是比较推荐，延迟时间可以配置的算是实时的，而且功能会多一点，聚合、过滤什么的都可以...原创 2018-12-04 14:23:48 · 1308 阅读 · 0 评论 -
大数据平台001-数据埋点
数据埋点如何实现？一、可以通过第三方平台来完成，比如诸葛io、growing io、神策等二、自埋点之全自动化埋点三、自埋点之手动埋点四、自埋点之半自动化埋点不建议第三方平台，由于要做到通用，他们支持的功能是有限的并且不提供无始数据。自埋点的方建议全自动化埋点，因为不太希望新增或修改页面时要增加额外的埋点工作量，虽然对于数据平台来说手动埋点更加的精准和方便一些。所以以下篇辐都是介绍全...原创 2018-11-27 17:53:14 · 2946 阅读 · 0 评论 -
大数据平台002-数据平台技术组件概述
我的数据平台需要具备哪些能力？以及数据平台技术选型及理由本文就针对以上两个问题为大家进行一次概述数据平台应该具备的能力一、应该具有多维度抓取数据的能力,能够通过ETL或者数据流组件的方式ETL，是英文 Extract-Transform-Load 的缩写，用来把数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至数据仓库的过程。源端一般包括各种数据库，...原创 2018-11-28 11:39:06 · 809 阅读 · 1 评论