
大数据工程师学习笔记
文章平均质量分 58
qqiuzaihui
Where there is a will, there is a way!
展开
-
1.大数据基础(上)_1.大数据简介
1.------------------------------------大数据可以定义成一个巨大的数据集,在可接受的时间范围内,它可以用来获取 存储 搜索 分享 转换分析以及可视化相关的信息或数据。大数据的三个特征:容量 速度 类型大数据的三种来源:社交 机器 交易数据2.------------------------------------根据来原创 2015-08-25 22:51:03 · 293 阅读 · 0 评论 -
1.大数据基础(上)_2.大数据的商业应用
1.------------------------------------* 社交网络数据指的是人们通过社交媒介进行社交或通信时产生的数据* 由于此类数据量十分巨大,因此可以被认为是大数据* 通过社交网络数据分析进行决策,可以对商务智能 销售产品的设计和扩展等领域做出改善* 通过社交网络数据,公司可以获得某一客户所在的整个网络的价值,而不仅仅是这个客户直接产生的价值* 社交网原创 2015-08-25 22:54:14 · 575 阅读 · 0 评论 -
2.大数据基础(下)_1.理解Hadoop生态系统.txt
1.------------------------------------ Hadoop生态系统中的核心部分,是Hadoop分布式文件系统(HDFS)和MapReduce, 为了满足大数据解决方案的关键需要,这两个组件提供了基本的结构和服务。为了更好地对大数据进行开发与部署,Hadoop生态系统提供了一系列有用的工具和技术。* 小结:- 为了对大数据进行开发与部署,Ha原创 2015-09-11 17:24:54 · 587 阅读 · 0 评论 -
2.大数据基础(下)_2.MapReduce基础
1.------------------------------------* How does MapReduce achieve this function? MapReduce模型是两种函数式计算机语言的结合,即映射(map)和归约(reduce). map部分将一个任务分发给各个系统进行处理,同时它也负责将任务合理处置,使得负载平衡,并在出错时进行恢复。reduce部分将所有原创 2015-09-11 17:26:17 · 453 阅读 · 0 评论 -
1.大数据基础(上)_3.大数据处理技术
1.------------------------------------主题:分布式计算的概念与大数据的关系* Solutions for Managing Big Data:- 充足的存储能力(使用容量大,成本低的虚拟存储) - 高速的运算平台(使用多个具有多核处理器 成本低的网络计算机以及内存内计算) - 高性能的运算平台(使用容错系统处理系统冗余和数据复制)原创 2015-08-25 22:57:07 · 500 阅读 · 0 评论