An342647823的专栏

随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。1.实时数仓建设目的随着互联网的发展进入下半场，数据的时效性对企业的精细化运营越来越重要，商场如战场，在每天产生的海量数据中，如何能实时有效的挖掘出有价值的信息， 对企业的决策运营策略调整有很大帮助。其次从智能商业的角度来讲，数据的结果代表了用户的反馈，

一、建设背景目前由于数据分散在不同的存储环境或数据库中，对于新业务需求的开发需要人工先从不同的数据库中同步、集中、合并等处理，造成资源和人力的浪费。同时，目前的系统架构，无法为未来数据驱动业务创新的理念提供友好的支撑。需要建设新一代数据管理平台来解决数据利用率效率跟不上，以及不能支撑业务发展的问题。以此建设背景，建设新一代数据管理平台需要能够支持数据汇集、数据分析、数据应用、数据计算、数据管理、数据资源管理。二、建设目标1、提高业务产品的研发效率解决不同的业务部门之间的项目、组件、数据很难复

在刚迈入数据的大门时，我经常对一些数据指标或者数据本身的概念很模糊，尤其是当跟运营、数据分析师扯需求的时候，会被这些密密麻麻的指标给弄糊涂。为了更好的在行业里面摸打滚爬，花了很多时间阅读一些指标相关的文章、书籍，总算解决了这个问题。作为互联网从业人员，目前看来对数据指标、指标的运用还是需要再深入学习下。终于挤出一些时间重新梳理了关于数据指标相关的一些知识，先梳理下数据指标基础知识。1 常见指标先来看一看常见的一些数据指标们1. DAU：Daily Active User 日...

1.什么是指标体系▍1.1 指标体系定义指标体系是将零散单点的具有相互联系的指标，系统化的组织起来，通过单点看全局，通过全局解决单点的问题。它主要由指标和体系两部分组成。指标是指将业务单元细分后量化的度量值，它使得业务目标可描述、可度量、可拆解，它是业务和数据的结合，是统计的基础，也是量化效果的重要依据。指标主要分为结果型和过程型：结果型指标 用于衡量用户发生某个动作后所产生的结果，通常是延后知道的，很难进行干预。结果型指标更多的是监控数据异常，或者是监控某个场景下用户需求是否被满足

转载：https://mp.weixin.qq.com/s?__biz=MzA5MTc0NTMwNQ==&mid=2650726003&idx=2&sn=47fc58e55321b85c36058a57a52bb8b8&chksm=887dc305bf0a4a131ed74b4af0e6d9417bfcaaf364191a2b56084f7ffe4299b15e30534621f4&scene=126&sessionid=1607916712&key=

感谢分享：https://www.toutiao.com/i6820209292554011149/?tt_from=weixin&utm_campaign=client_share&wxshare_count=1&timestamp=1588074123&app=news_article&utm_source=weixin&utm_medium=t...

随着我们从IT时代步入DT时代，数据从积累量也与日俱增，同时伴随着互联网的发展，越来越多的应用场景产生，传统的数据处理、存储方式已经不能满足日益增长的需求。而互联网行业相比传统行业对新生事物的接受度更高、应用场景更复杂，因此基于大数据构建的数据仓库最先在互联网行业得到了尝试。尽管数据仓库建模方法论是一致的，但由于所面临的行业、场景的不同，在互联网领域，基于大数据的数据仓库建设无法按照原有的项目流程...

导读：数据中台被誉为大数据的下一站，由阿里兴起，核心思想是数据共享，并在 2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点。在 3 月 15 日 ThoughtWorks 技术雷达峰会上，关于数据中台的话题也获得了众多参会者的热烈关注。如今似乎人人都在提数据中台，但却不是所有人都清楚数据中台到底意味着什么。数据中台是只有大厂才需要考虑的高大上的概念吗？普通企业该不该做数据中台？数据...

新型的数据仓库需要具备如下能力： 从容应对数据量暴增，快速支持多源数据接入 面对大数据时代下的数据激增，新型数据仓库需要打破传统数仓的随数据量增长、硬件成本也随之增长的魔咒，提供海量数据存储/计算/分析需要的可扩展平台。 新型数据仓库需要打破数据孤岛壁垒，快速整合所有业务条线数据，进行集中式管理，统一数据口径，提升数据整合度，支持业务高效的跨领域的综合分析。 以银行为例，在开放银...

非常感谢分享，学习了。http://www.chinacloud.cn/show.aspx?id=25413&cid=16文 | 吕毅，链家网平台架构师　　链家网于2015年成立大数据部门，开始构建基于Hadoop的技术体系，初期大数据部门以运营数据报表需求、公司核心指标需求为主。随着2015年链家网发力线上业务，toB与toC业务齐头并进，数据需求量激增的情况也随之在2016

感谢分享。http://www.jianshu.com/p/abd5e90ab051?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation“麒麟出没，必有祥瑞。”　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　—— 中国古谚语K

感谢分享。http://itindex.net/detail/56925-%E6%95%B0%E6%8D%AE%E4%BB%93%E5%BA%93-%E6%8B%89%E9%93%BE-%E5%8E%9F%E7%90%86漫谈数据仓库之拉链表（原理、设计以及在Hive中的实现）标签： bigdata | 发表时间：2017-05-12 00:00 | 作者：分享到：