
大数据
forever_ai
爱我的人,我爱的人。平平安安,健健康康的过一辈子就行了。
展开
-
5个方面谈谈,数据中台应该具备哪些功能?
数据中台是什么?应该具备哪些功能?本文作者通过梳理分析,从六个方面对数据中台进行了拆解,与大家分享。自从阿里巴巴引入中台以后,中台在国内行业持续高热不退,高潮迭起。从猎聘网、boss直聘上直接搜索中台产品经理、中台架构师等,可以看到各个大小公司都在招聘相关人员,组建团队。市面上BAT等大型互联网公司也有关于中台的文章,但是其中更多都在讲述中台解决的问题,其中数据中台究竟应该包括...转载 2019-11-12 18:38:40 · 1839 阅读 · 0 评论 -
中台到底在共享什么?
一、 中台的诞生中台战略是企业数字化转型过程中的一个热门话题。说到中台转型,企业大多对标阿里巴巴。2015年阿里巴巴提出了“大中台,小前台”的中台战略,提出之初阿里有近 4 亿用户,为超过 1000万各类企业提供服务,业务种类繁多,业务之间相互网状依赖。同时,阿里部门也越来越多,分工越来越细,沟通过多,相互依赖,创新成本非常高,对业务响应也越来越慢。阿里需要找到能够对外界变化快速反应,整...转载 2019-10-22 16:23:18 · 1011 阅读 · 0 评论 -
向左还是向右?中台建设才不止这点纠结事
今年参加了云栖大会,作为中台的践行者,笔者非常关注中台架构实施的行业状况,学习了其他公司中台的思想和经验。云栖大会上,笔者和做中台实践的同学,以及在阿里做中台的朋友进行了深入的交流和探讨,对做中台过程中遇到的比较纠结的问题进行了思考和总结。在探讨中台哪些让人纠结不定烦心事之前,我们依然要谈谈我们为什么要做中台(注:本文中台局限于企业 IT 架构的中台,非广义上的中台),做中台到底给我带...转载 2019-10-22 16:12:45 · 342 阅读 · 0 评论 -
大数据下的企业数据仓库建设
随着我们从IT时代步入DT时代,数据从积累量也与日俱增,同时伴随着互联网的发展,越来越多的应用场景产生,传统的数据处理、存储方式已经不能满足日益增长的需求。而互联网行业相比传统行业对新生事物的接受度更高、应用场景更复杂,因此基于大数据构建的数据仓库最先在互联网行业得到了尝试。尽管数据仓库建模方法论是一致的,但由于所面临的行业、场景的不同,在互联网领域,基于大数据的数据仓库建设无法按照原有的项目流程...转载 2019-10-16 10:39:12 · 632 阅读 · 0 评论 -
到底什么是数据中台?
导读:数据中台被誉为大数据的下一站,由阿里兴起,核心思想是数据共享,并在 2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点。在 3 月 15 日 ThoughtWorks 技术雷达峰会上,关于数据中台的话题也获得了众多参会者的热烈关注。如今似乎人人都在提数据中台,但却不是所有人都清楚数据中台到底意味着什么。数据中台是只有大厂才需要考虑的高大上的概念吗?普通企业该不该做数据中台?数据...转载 2019-10-15 12:38:19 · 432 阅读 · 0 评论 -
民生银行数据中台体系的构建与实践
在大数据、人工智能、区块链等新兴技术的驱动下,各家银行纷纷利用新技术制定数字转型改革战略,寻找差异化经营的可行模式。民生银行积极推进改革转型,2018年在“民营企业的银行、科技金融的银行、综合服务的银行”战略指导下,民生银行从科技视角制定了“技术+数据”双轮驱动的改革方案,全力打造以客户为中心的数字化智能银行,为广大客户提供科技+金融的综合生态服务。如何真正将“数据驱动”...转载 2019-08-12 11:15:20 · 1968 阅读 · 0 评论 -
基于Hadoop和Spark体系的大数据分析平台构建
谢谢分享!转载:http://www.sohu.com/a/249271561_481409随着大数据、人工智能等技术的快速发展,企业对大数据平台的需求越来越强烈,通过大数据分析技术为企业提供经营价值。虽然数据分析工作隐藏在业务系统背后,但是具有非常重要的作用,数据分析的结果对企业决策、企业业务发展有着举足轻重的作用。随着大数据技术的发展,数据挖掘、数据探索等专有名词曝光度越来越高,但是在...转载 2019-02-26 16:42:54 · 5000 阅读 · 0 评论 -
sparkSQL的整体实现框架
感谢分享:https://blog.51cto.com/9269309/1845525这篇博客的目的是让那些初次接触sparkSQL框架的童鞋们,希望他们对sparkSQL整体框架有一个大致的了解,降低他们进入spark世界的门槛,避免他们在刚刚接触sparkSQL时,不知所措,不知道该学习什么,该怎么看。这也是自己工作的一个总结,以便以后可以回头查看。后续会对sparkSQL进行一系列详细的...转载 2019-02-26 11:01:47 · 282 阅读 · 0 评论 -
hive 添加udf函数pom文件
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://原创 2019-01-30 17:11:28 · 2132 阅读 · 0 评论 -
数据质量监控工具-Apache Griffin
转载:https://blog.youkuaiyun.com/vipshop_fin_dev/article/details/86362706文章目录一、概述二、Apache Griffin2.1 特性2.1.1 数据质量指标说明2.2 优势2.3 工作流程2.4 系统架构2.5 数据验证逻辑2.6 Demo2.7 后台提交监控任务一、概述随着业务发展和数据量的增加,大数据应用开发...转载 2019-01-18 17:14:24 · 9111 阅读 · 0 评论 -
案例分析|链家网大数据平台枢纽——工具链
非常感谢分享,学习了。http://www.chinacloud.cn/show.aspx?id=25413&cid=16文 | 吕毅,链家网平台架构师 链家网于2015年成立大数据部门,开始构建基于Hadoop的技术体系,初期大数据部门以运营数据报表需求、公司核心指标需求为主。随着2015年链家网发力线上业务,toB与toC业务齐头并进,数据需求量激增的情况也随之在2016转载 2017-12-07 14:56:52 · 3143 阅读 · 0 评论 -
一文读懂Apache Kylin
感谢分享。http://www.jianshu.com/p/abd5e90ab051?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation“麒麟出没,必有祥瑞。” —— 中国古谚语K转载 2017-12-08 17:24:22 · 6724 阅读 · 1 评论 -
大数据环境下该如何优雅地设计数据分层
转载:http://blog.youkuaiyun.com/zhaodedong/article/details/73385647感谢分享!0x00 前言最近出现了好几次同样的对话场景: 问:你是做什么的? 答:最近在搞数据仓库。 问:哦,你是传统行业的吧,我是搞大数据的。 答:……发个牢骚,搞大数据的也得建设数据仓库吧。而且不管是传统行业还是现在的互联网公转载 2017-06-21 15:45:58 · 526 阅读 · 0 评论 -
一篇文看懂Hadoop:风雨十年,未来何去何从
转载:http://mt.sohu.com/20160511/n448925568.shtml 我们很荣幸能够见证Hadoop十年从无到有,再到称王。感动于技术的日新月异时,希望通过这篇内容深入解读Hadoop的昨天、今天和明天,憧憬下一个十年。本文分为技术篇、产业篇、应用篇、展望篇四部分 技术篇 2006年项目成立的一开始,转载 2016-12-12 19:07:38 · 2361 阅读 · 0 评论 -
你确定你真的懂用户画像?
转载:感谢分享 http://developer.51cto.com/art/201601/503618.htm随着大数据技术的深入研究与应用,企业的专注点日益聚焦于怎样利用大数据来为精准营销服务,进而深入挖掘潜在的商业价值。于是,“用户画像”的概念也就应运而生,从宏观层面总结,就是得到用户画像的数据架构。什么是用户画像?在互联网逐渐步入大数据时代后,不可避免的给企业及转载 2016-01-13 14:26:40 · 2660 阅读 · 0 评论 -
移动大数据平台的架构、实践与数据增值(1)
转转:感谢分享http://developer.51cto.com/art/201512/500294.htmAPP是进入移动互联网的重要载体,故得到越来越多开发者的关注。打造APP,无论是开发、产品、运营、推广等任意一个环节都离不开海量数据的支持。这样一来,怎样采集,存储,整理,分析,挖掘海量数据成为开发者们面临的重大挑战。友盟从2010年成立至今,在这方面有独特技术和宝贵经验,51转载 2016-01-13 14:23:00 · 3020 阅读 · 0 评论