顾鸢的博客

一、什么是Spark? Spark是一个针对大规模数据处理的快速通用引擎，类似于MapReduce,都是进行数据的处理。 二、Spark的特点 1.基于Scala语言开发、Spark基于内存的计算，运算速度快、所以从运算速度来将要比MapReduce快。 2.易用：支持多种语言 3.通用：Spark Core 、Spark SQL、Spark Streaming（流式计算） 4.兼容性好：完全兼容...

一、什么是大数据，本质？ 1.数据的存储：分布式文件系统(分布式存储)----HDFS：Hadoop Distributed File System 2.数据的计算：分布式计算 大数据应用场景？ 举个例子： 1、商品推荐中： (1)大量的订单如何存储？ (2)大量的订单如何计算？ 2、天气预报场景中： (1)大量的天气数据如何存储？ (2)大量的天气如何计算? 使用大数据的分布式文件系统与分布式计...