enlyhua的专栏

6大行业解决方案架构图:

第11章　数据安全管理11.1　数据安全面临的挑战 1.数据安全带来的4大损害 a)个人安全 b)组织安全 c)公共安全、公共利益、公共秩序 d)国家主权、安全、发展利益 2.法律与政策背景 3.数据安全的4个技术挑战 a)平台安全 b)服务安全 c)数据本身安全 d)APT攻击防御 4.数据安全的3大市场挑战 1.企业内部挑战 2.对大数据服务商的挑战 3.数据确权问题11.2　贯穿数据全生命周期的数据安全管理体系 广义上的数据安全.

第10章　数据中台运营机制 企业数据中台搭建好后，如何让数据中台中的数据资产越勇越多，越用越灵活，越用越稳定，这是紧接着要进入的一个新阶段：数据中台运营阶段。10.1　数据中台运营效果评估模型 数据中台不是一款简单的产品，而是一个让数据持续用起来的机制。 如果数据可以被持续高质量的生产出来，数据消费者可以便捷的获取数据，并能在安全、有监管的环境中使用，最终让数据资产达到一种比较 理想的"越来越多，越来越好"的状态，那么恭喜你，你的企业数据中台已经运营成一个非常优秀的范本了。10.2.

第9章　数据服务体系建设 数据服务体系就是把数据变为一种服务能力，通过数据服务让数据参与到业务之中，激活整个数据中台，这也是数据中台的价值所在。9.1　补全数据应用的后“一公里” 数据资产只有形成数据服务被业务所使用，才能体现其价值。以往传统做法是根据某个应用产品的需要，独立构建非常多的数据接口与应用产品 对接，这会形成数据接口的"孤岛"，造成大量接口的重复建设，且修改、运维、监控的成本都很大，需要抽象成可管理、可复用、可监控的统一标准 下的数据服务体系。而通过数据服务便捷的对接业务系统或.

第8章　数据资产管理8.1　数据资产的定义和3个特征 中国通信院发布的<<数据资产管理实践白皮书4.0>>，其中将"数据资产"定义为由企业拥有或控制的，能够为企业带来未来经济利益的，以物理或者电子的方式记录的数据资源，如文件资料、电子数据等。 从这个定义可以看出，数据资产3个特征为： 1.企业拥有或控制的 2.能够带来未来经济利益 3.数据资源 <<数据资产管理实践白皮书4.0>>中对"数据资产管理"的定义为：规划、控制和提供数据.

7.1　数据体系规划 各种系统产生的原始数据堆积在一起导致使用成本非常高，这类数据只能在某些数据技术基础非常好的部门使用，而且会经常出现 命名不一、口径不一的问题，从而导致整个企业的数据无法真正用起来。数据中台数据体系是在全域原始数据的基础上，进行标准定义 及分层建模，数据体系建设最终呈现的结果是一套完整、规范、准确的数据体系，可以方便的支撑数据应用。 中台数据体系应具备以下特征： 1.覆盖全域数据 数据集中建设，覆盖所有业务过程数据，业务在中台数据体系中总能找到需要的数据。.

第6章　数据开发：数据价值提炼工厂 数据开发涉及的产品能力主要包括三个部分，分别是 离线开发、实时开发和算法开发。 1.离线开发 主要包括离线数据的开发、发布、运维管理，以及数据分析、数据探索、在线查询和即席分析相关的工作。 2.实时开发 主要涉及数据的实时接入和实时处理，简化流数据的加工处理过程。 3.算法开发 主要提供简单易用的可视化拖拽方式和Notebook方式来实现数据价值的深度挖掘。 常见的加工场景有 离线和实时数仓建设、算法模型训练、数据化运营分析、数据探索.

第5章　数据汇聚联通：打破企业数据孤岛 要构建企业级的数据中台，第一步就是要让企业内部各个业务系统的数据实现互联互通，从物理上打破数据孤岛，这主要通过数据汇聚和交换的能力来实现。在面向具体场景时，可以根据数据类型将汇聚对象分为结构化和非结构化、大文件和小文件、离线与在线等几种。5.1　数据采集、汇聚的方法和工具 1.线上采集行为 线上采集的主要载体可以分为传统互联网和移动互联网两种，对应的形态有PC系统、PC网页、H5、小程序、App、智能可穿戴设备等。在技术 上，数据采集主要有客户端SD.

4.1　企业数据应用的成熟度评估 通过 企业数据 对 业务的支撑程度 来评估企业应用数据的能力。数据应用能力成熟度可以总结为 统计分析、决策支持、数据驱动、运营优化 4个阶段。 数据应用能力成熟度越高，则代表数据对业务的支撑能力越强；应用能力成熟度越低，则意味着业务对数据的依赖程度越低。 1.统计分析阶段 丰田通过 精益生产 和 持续优化 的理念，建设 MRP、ERP、CRM、OA 系统。 DBA/DBE => 数据分析师 => 业务数据分析师 这一类分析师和传统数据.

第3章　数据中台建设与架构3.1　持续让数据用起来的价值框架 业务数据化 => 数据资产化 => 资产服务化 => 服务业务化3.2　数据中台建设方法论 1种战略行动 把用数据中台驱动业务发展定位为企业级战略，全局谋划。 在中台建设过程中，会涉及所有相关业态、各块资源的协调和推进，这都需要站在更高的层面来考虑。 数据中台要求整个企业共用一个数据技术平台、共建数据体系、共享数据服务能力。现实中，企业业务发展不均衡，各个部门墙导致共建、共享非常困难。数据 中.

第2章　什么是数据中台2.1　解码数据中台 数据中台： 是一套可持续"让企业的数据用起来"的机制，是一种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施方法论支撑，构建的一套 持续不断把数据变成资产并服务于业务的机制。 数据来源于业务，并反哺业务。不断循环迭代，实现数据可见、可用、可运营。2.2　数据中台的4个核心能力 数据中台需要具备数据汇聚整合、数据提纯加工、数据服务可视化、数据价值变现4个核心能力，让企业员工、客户、伙伴能够方便的用数据。 .

1.1　数据中台产生的大背景1.2　数据中台的3个核心认知 1.数据中台需要提升到企业下一代基础设施的高度，进行规模化投入； 2.数据中台需要全新的数据价值观和方法论，并在其指引下形成平台级能力； 3.数据中台围绕业务、数据、分析会衍生出全新人才素养要求，需要尽快启动人才储备。1.3　数据中台的3个发展阶段 第一阶段：数据中台探索 第二阶段：数据中台整合数据应用提升效率 第三阶段：数据中台重构数据空间和业务空间1.4　开启信息化的下一站 以下为4种主要的信息化建设模式： 1..

第3章　标签数据存储3.1　Hive存储 3.1.1　Hive数据仓库 建立用户画像首先需要建立数据仓库，用于存储用户标签数据。Hive是基于Hadoop的数据仓库工具，依赖于HDFS存储数据，提供的sql语言可以查询存储在HDFS中的 数据。 数据仓库：一个面向主题的、集成的、非易失的、随时间变化的、用来支持管理人员决策的数据集合。 1.面向主题 业务数据库中的数据是针对事务处理，各个业务系统之间是互相分离的，而数据仓库之间的数据是按照一定主题进行组织的。 2.集成.

第2章　数据指标体系 数据指标体系是建立用户画像的关键环节，也是在标签开发之前要进行的工作，具体来说就是需要结合企业的业务情况设定的相关指标。 互联网企业在建立用户画像时一般除了基于用户维度(userid)建立一套用户标签体系外，还会基于用户使用的设备维度(cookieid)建立相应的标签体系。基于cookieid维度的标签应用也很容易理解，当用户没有登录账户而访问设备时，也可以基于用户在设备上的行为对该设备推送相关的广告，产品和服务。 建立的用户标签按标签类型可以分为 统计类，规则类和机器.

本书可以帮助读者在用户画像领域形成一个体系化的思维，在面对一个具体项目时不会无从下手。 如何建立标签指标体系？ 指标体系中包含哪些标签？ 如何设计存储画像标签的表结构？ 如何开发标签？ 画像系统中涉及哪些数据存储工具？ 如何打通标签数据到服务层？ 如何对画像系统进行监控？ 如何对整个画像系统进行调度？ 如何使用画像系统服务于业务场景驱动增长？ 这些都是画像系统的子模块。第1章　用户画像基础1.1　用户画像是什么 用户的一切行为在企业面前是"可溯""分析"的。企业内保存了大量的.

12.1 开源文化 12.2 DevOps理念 12.2.1 Development和Operations的组合 12.2.2 对应用程序发布的影响 12.2.3 遇到的问题 12.2.4 协调人 12.2.5 成功的关键 12.3 速度远比你想的重要 ...

11.1 云计算定义 11.2 应用上云 11.2.1 Cloud Native概念 11.2.2 微服务架构 11.2.3 Docker配合微服务架构 11.2.4 应用上云小结 11.3 大数据上云 11.3.1 大数据云服务的两种模式 11.3.2 集群模式AWSEMR 11.3.3 服务模式Azure Data Lake Analytics .

10.1 分久必合，合久必分 10.2 存储硬件的发展 10.2.1 机械硬盘的工作原理 10.2.2 SSD的原理 10.2.3 3DXPoint 10.2.4 硬件发展小结 10.3 存储关键指标 10.4 RAID技术 10.5 存储接口 10.5.1 文件接口 10.5.2 裸设备 10.5.3 对象接口 10.5.4 块接口 10.5.5 融合是趋势 10.6 存储加速技术 10.6.1 数据组织技术 10.6.2 缓存技术 .

9.1 资源管理的基本概念 9.1.1 资源调度的目标和价值 9.1.2 资源调度的使用限制及难点 9.2 Hadoop领域的资源调度框架 9.2.1 YARN 9.2.2 Borg 9.2.3 Omega 9.2.4 本节小结 9.3 资源分配算法 9.3.1 算法的作用 9.3.2 几种调度算法分析 9.4 数据中心统一资源调度 9.4.1 Mesos+Marathon架构和原理 9.4.2 Mesos+Marathon小结 9.5 多租户技术 9..

第8章 机器学习和数据挖掘 8.1 机器学习和数据挖掘的联系与区别 8.2 典型的数据挖掘和机器学习过程 8.3 机器学习概览 8.3.1 学习方式 8.3.2 算法类似性 8.4 机器学习&数据挖掘应用案例 8.4.1 尿布和啤酒的故事 8.4.2 决策树用于电信领域故障快速定位 8.4.3 图像识别领域 8.4.4 自然语言识别 8.5 交互式分析 8.6 深度学习 8.6.1 深度学习概述 8.6.2 机器学习的背景 8.6.3 人脑视觉机理 .

第7章 批处理技术 7.1 批处理技术的概念 7.2 MPP DB技术 7.3 MapReduce编程框架 7.3.1 MapReduce起源 7.3.2 MapReduce原理 7.3.3 Shuffle 7.3.4 性能差的主要原因 7.4 Spark架构和原理 7.4.1 Spark的起源和特点 7.4.2 Spark的核心概念 7.5 BSP框架 7.5.1 什么是BSP模型 7.5.2 并行模型介绍 7.5.3 BSP模型基本原理 7.5.4 B.

6.1 交互式分析的概念 6.2 MPP DB技术 6.2.1 MPP的概念 6.2.2 典型的MPP数据库 6.2.3 MPP DB调优实战 6.2.4 MPP DB适用场景 6.3 SQL on Hadoop 6.3.1 Hive 6.3.2 Phoenix 6.3.3 Impala 6.4 大数据仓库 6.4.1 数据仓库的概念 6.4.2 OLTP/OLAP对比 6.4.3 大数据场景下的同与不同 6.4.4 查询引擎 6.4.5 存储引擎 .

5.1 算子5.2 流的概念5.3 流的应用场景 5.3.1 金融领域 5.3.2 电信领域5.4 业界两种典型的流引擎 5.4.1 Storm 5.4.2 Spark Streaming 5.4.3 融合框架 5.5 CEP 5.5.1 CEP是什么 5.5.2 CEP的架构 5.5.3 Esper 5.6 实时结合机器学习 5.6.1 Eagle的特点 5.6.2 Eagle概览 .

4.1 数据分类 4.2 数据获取组件 4.3 探针 4.3.1 探针原理 4.3.2 探针的关键能力 4.4 网页采集 4.4.1 网络爬虫 4.4.2 简单爬虫Python代码示例 4.5 日志收集 4.5.1 Flume 4.5.2 其他日志收集组件 4.6 数据分发中间件 4.6.1 数据分发中间件的作用 4.6.2 Kafka架构和原理 .

第3章 运营商大数据业务3.1 运营商常见的大数据业务3.1.1 SQM（运维质量管理）3.1.2 CSE（客户体验提升）3.1.3 MSS（市场运维支撑） 3.1.4 DMP（数据管理平台）

第2章 运营商大数据架构 2.1 架构驱动的因素 2.2 大数据平台架构 2.3 平台发展趋势

第1章 大数据是什么 1.1 大数据导论 1.1.1 大数据简史 1.1.2 大数据现状 1.1.3 大数据与BI 1.2 企业数据资产 1.3 大数据挑战 1.3.1 成本挑战 1.3.2 实时性挑战 1.3.3 安全挑战 ...