大数据技术与原理
关注
分享
扫一扫
Lzzwwen
这个作者很懒，什么都没留下…
展开
-
大数据技术原理与应用笔记（1）——大数据概述
大数据概述《大数据技术与原理》课程笔记目录1.1大数据概念1.2数据产生方式1.3技术支撑1.4大数据的影响1.5大数据的关键技术1.6大数据的计算模式1.1大数据概念（1）数据量大/“大量化”（2）数据类型繁多/“多样化”10%结构化数据，90%非结构化数据（3）处理速度快/“快速化”1秒定律——秒级决策（4）价值密度低，商业价值高/“...原创 2019-04-27 09:46:22 · 3211 阅读 · 0 评论 -
大数据技术原理与应用笔记（2）——大数据处理架构Hadoop
2.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构。Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中。Hadoop的核心是分布式文件系统HDFS(Hadoop Distributed File System)和MapReduce。Hadoop被公认为行业大数据标...原创 2019-05-11 22:57:59 · 660 阅读 · 0 评论 -
大数据技术原理与应用笔记（3）——分布式文件系统HDFS
分布式文件系统HDFS大数据技术以及具有代表性的Hadoop平台，所要解决的最核心的两大问题是：大数据的分布式存储大数据的分布式处理而HDFS(Hadoop Distributed File System)就是为了解决海量数据的分布式存储问题。3.1 分布式文件系统（1）计算机集群结构分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。与之前使...原创 2019-05-11 23:01:59 · 1971 阅读 · 0 评论