
hadoop
hadoop技术
#YF#_长沙
这个作者很懒,什么都没留下…
展开
-
1.4 了解离线分析系统概念以及处理流程
1.4 了解离线分析系统概念以及处理流程 任务目的 了解离线分析系统的宏观概念 理解离线分析系统的处理流程 任务清单 任务1:需求分析 任务2:数据处理流程 任务3:项目最终效果 详细任务步骤 任务1:需求分析 1.案例名称 XX 网/XX app 点击流日志数据挖掘系统 网站分析的主要手段是分析网站的点击流数据。 XX 网/XX app 点击流日志数据挖掘系统 网站分析的主要手段是分析网站的点击流数据。 (1)点击流的概念 点击流( Click Stream)是指用户在网站上持续访问的轨迹。 这原创 2020-08-14 19:58:29 · 1292 阅读 · 1 评论 -
1.3了解分布式系统(通俗易懂)
1.3了解分布式系统(通俗易懂) 任务目的 理解集群、分布式和负载均衡的概念 理解集群、分布式的区别 任务清单 任务1:分布式集群 任务2:负载均衡 详细任务步骤 任务1:分布式集群 从开餐馆说起:你开了一家餐馆,自己掌勺后厨(即做菜)。随着生意越来越好,发现自己忙不过来。于是你聘请了两个厨师,你们三位厨师就是一个“集群”。主要的职责是:洗菜、配菜、炒菜。你们关系如下: 随着生意越来越好,两种方式增加后厨的生产力: (1)继续增加厨师——相当于扩大集群; (2)引入流水线的机制,精细化分工原创 2020-08-14 11:13:15 · 779 阅读 · 1 评论 -
1.2Hadooop(分布式计算平台)快速入门篇
Hadooop(分布式计算平台)快速入门 任务目的 重点掌握Hadoop的核心组件 了解Hadoop的发展历史及其生态体系 熟记Hadoop的主要特性 任务清单 任务1:Hadoop简介 任务2:Hadoop产生背景 任务3:Hadoop特性 详细任务步骤 任务1:Hadoop简介 Hadoop 是 Apache 软件基金会旗下的一个开源的分布式计算平台。 Hadoop 提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理; 处理什么问题? 海量数据的存储和海量原创 2020-08-13 08:50:56 · 3017 阅读 · 0 评论 -
1.1初步了解和认识大数据
初步了解认识大数据 任务目的 了解大数据的概念及其特征 熟悉大数据的典型应用场景 了解大数据部门的业务流程 任务清单 任务1:大数据概念 任务2:大数据特点 任务3:大数据应用场景 任务4:大数据发展前景 任务5:业务流程分析 任务1:大数据概念 何谓“大数据”(Big Data),“大数据”计量单位已经超过TB级别发展到PB、EB、ZB、YB甚至是BB级别。 “大数据”是一个较为抽象的概念,至今尚无确切、统一的定义,各方对“大数据”给出了10余种不同的定义,比较典型的是: 最早原创 2020-08-12 09:02:57 · 3505 阅读 · 0 评论