kwame211的博客

数字化运营不同阶段，运营手段各尽所能随着大数据技术的不断更新与迭代，数据管理工具得到了飞速的发展，从数据库、数据仓库、数据集市与数据湖，再到大数据平台与如今的数据中台，其实将它们比喻成一场“数据的旅程”就不难理解在数字化运营的不同阶段，各运营手段并不一定是谁替代了谁，准确的讲，它们都有自己的功能、特点所在，技术之间的互补，每个手段都各尽所能的为自己的用例服务。下面我们就来简明扼要的归纳一下数字化运营不同阶段中各运营手段的功能与亮点。1、数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处

一、Atlas是什么？在当今大数据的应用越来越广泛的情况下，数据治理一直是企业面临的巨大问题。大部分公司只是单纯的对数据进行了处理，而数据的血缘，分类等等却很难实现，市场上也急需要一个专注于数据治理的技术框架，这时Atlas应运而生。Atlas官网地址：https://atlas.apache.org/Atlas是Hadoop的数据治理和元数据框架。Atlas是一组可扩展和可扩展的核心基础治理服务，使企业能够有效，高效地满足Hadoop中的合规性要求，并允许与整个企业数据生态系统集成。

元数据管理一、元数据的定义按照传统的定义，元数据（Metadata）是关于数据的数据。在数据仓库系统中，元数据可以帮助数据仓库管理员和数据仓库的开发人员非常方便地找到他们所关心的数据；元数据是描述数据仓库内数据的结构和建立方法的数据，可将其按用途的不同分为两类：技术元数据（Technical Metadata）和业务元数据（Business Metadata）。技术元数据技术元数据是存储关于数据仓库系统技术细节的数据，是用于开发和管理数据仓库使用的数据，它主要包括以下信息：数据仓库结构的

大数据概述：大数据的发展历程：第一阶段：萌芽期（20世纪90年代至21世纪初）第二阶段：成熟期（21世纪前十年）第三阶段：大规模应用期（2010年以后）大数据的特点（简称4V）：数据量大数据类型多处理速度快价值密度低大数据的特征：全面而非抽样效率而非精确相关而非因果在科学研究上的四种范式：实验科学、理论科学、计算科学、数据密集型科学大数据技术主要包括数据采...

一、数据核心原理——从“流程”核心转变为“数据”核心大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。例如：IBM将使用以数据为中心的设计，目的是降低在超级计算机之间进行大量数据交换的必要性。大数据下，云计...

HDFS：H是hadoop 分布式文件系统 分布式文件系统。Hdfs是Hadoop分布式文件系统的简称，它是Hadoop实现的一个分布式文件系统。纱线：管理资源调度mycat：中间件MapReduce的：分布式，并行处理的编译原理伪分布式：纱和HDFS部署在同一台机器上组件介绍：Hado...

目前围绕Hadoop体系的大数据架构包括：传统大数据架构数据分析的业务没有发生任何变化，但是因为数据量、性能等问题导致系统无法正常使用，需要进行升级改造，那么此类架构便是为了解决这个问题。依然保留了ETL的动作，将数据经过ETL动作进入数据存储。数据分析需求依旧以BI场景为主，但是因为数据量、性能等问题无法满足日常使用。流式架构在传统大数据架构的基础上，流式架构数据全程以流的形式处...

简介大数据是收集、整理、处理大容量数据集，并从中获得见解所需的非传统战略和技术的总称。虽然处理数据所需的计算能力或存储容量早已超过一台计算机的上限，但这种计算类型的普遍性、规模，以及价值在最近几年才经历了大规模扩展。在之前的文章中，我们曾经介绍过有关大数据系统的常规概念、处理过程，以及各种专门术语，本文将介绍大数据系统一个最基本的组件：处理框架。处理框架负责对系统中的数据进行计算，例...

大数据真的太神奇了，真的可以让改变一个企业的运营吗?答案是肯定的。大数据目前是当下最火热的词了，你要是不知道大数据这个概念，都不好意思在众人面前开口了。然而实际上很多人都对大数据的应用模糊不清。现在就让我们从下面几个大数据应用案例来了解下最真实的大数据故事把，并鲜明得了解大数据在生活当中实际应用的情况。金融大数据 理财利器:大数据在金融行业应用范围较广，典型的案例有花旗银行利用IBM沃森电...

一、大数据英文：big data，mega data大数据，或称巨量资料，指的是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。二、大数据的4V：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）三、当前用于分析大数据的工具主要有开源与商用两个生态圈开源大数据生态圈：1、Hadoop...

布加迪公司在2019日内瓦车展上推出了一辆独一无二的布加迪跑车，名为“ La Voiture Noire ”，该款车基于布加迪迪沃，由一位客户订购，全世界仅此一辆。这辆车的创作灵感来自于布加迪“失落的辉煌”——Type 57SC Atlantic，售价高达1250万美元，是目前世界上最昂贵的新车。传奇的布加迪Type 57SC Atlantic跑车在历史上只生产了四辆，而且自1938年...

有人说，程序员的门槛正在逐渐消失，因为计算机相关专业毕业生一年比一年多； IT培训班出来的学生一年比一年多；网络上各种编程课程，也正在帮助无数人零基础转型软件开发……而程序员的工资，动辄两三万，三五万，远高于其他行业大部分技术岗位，似乎充满了泡沫。未来程序员越来越多，供过于求，肯定会是白菜价，并说这是普遍的经济规律。当我们讨论供需关系时，往往都需要一个基础条件：产品业务必须是标准的。我们这代人生活...

华南师范大学教育信息技术学院焦建利教授给出了他的相关预测：2018国内教育技术十大趋势1. 教育信息化相关企业将从销售硬件和产品，转向销售服务。教育技术和教育信息化相关的研究、开发和实践，将越来越走向“以用户为中心”和以“以教学为中心”，而不再是“以技术为中心”。教育信息化相关企业将从销售硬件和产品，转向销售服务。这一趋势在创客相关的产业突显的更加明显。在2018年，真正有潜力和市场机会的创客相关...

全球领先的信息技术研究和顾问公司Gartner公布了将在2018年对大部分企业机构产生显著影响的首要战略科技发展趋势。Gartner将战略科技发展趋势定义为具有巨大颠覆性潜力、脱离初期阶段且影响范围和用途正不断扩大的战略科技发展趋势；这些趋势在未来五年内迅速增长、高度波动、预计达到临界点。“Gartner的2018年十大战略科技发展趋势（top10 strategic technology tre...

因为大数据爆发，因此出现了大数据开发、大数据分析这两大主流的工作方向，目前这两个方向是很热门，不少人已经在开始转型往这两个方向发展，相较而言，转向大数据分析的人才更多一点，而同时也有不少人在观望中，这边小编收集了十个为什么要学习大数据分析的十个理由。下面我们一起来看看大数据专家写给大数据分析学习者的10个理由 以上算是关于大数据专家写给大数据分析学习...

最初的工厂自动化，起始于继电器在生产设备中的应用：传感器在感应自然信号后，会触发继电器“梯形逻辑”，并产生“开关”效应控制相应的机械装置运作。这种控制过程被系统性地部署在生产设备的各个活动部件上，从而实现无需人工干预的自动化生产操作。除了继电器以外，可以启停设备的还有定时器。（备注: 继电器，一种电控制器件, 当输入电流的变化达到规定要求时，就会“接通或阻断”输出电流）而后，可编程逻辑控制...

一个小机器人“哼”着清脆的轻音乐从现场的工人边上“轻巧”地擦身而过，顺利地把几样汽车配件运送到了下一个工位。这并非著名科幻小说家艾萨克·阿西莫夫(Isaac Asimov)描绘的未来场景，而是2017年12月第一财经记者实地探访斯洛伐克首都布拉迪斯拉发的大众工厂车间时所见到的基于工业4.0的现实生产方式，在这里，从大众途锐、奥迪A8直到保时捷卡宴的生产，都有机器人的身影参与其间。大...

美国时间12月14日，人工智能领域知名科学家吴恩达（Andrew Ng）宣布创立AI公司Landing.ai，并出任公司首席执行官。作为前百度首席科学家、斯坦福大学副教授的吴恩达，在离开百度九个月后，吴恩达的AI创业之路也逐步开始实施。这是继今年6月23日推出人工智能在线课程平台Deeplearning.ai 后，吴恩达推出了第二个项目。官方简介称：Land