
大数据
我们都是工程师
计算机软硬件从业者
展开
-
Spark大数据开发之旅之一:准备工作
Spark是目前处理大数据比较理想的一个技术架构,由于我们主要关注实战,有关Spark的理论大家去百度。网上也有很多实战的教程,但是由于很多教程转来转去,有些失真,导致一些写得不错的教程反而无法让人知道。我从自己的体验出发,将Spark大数据处理的过程描述出来,不能说是精华,就算是对大数据分析的项目的一个总结。在说到Spark之前,我们从项目开发的角度评估一下知识结构。使用Spark,我们原创 2017-11-09 07:56:45 · 498 阅读 · 0 评论 -
Spark大数据开发之旅之二:软件安装
在《Spark大数据开发之旅之一:准备工作》中,我们简单介绍了Spark大数据分析涉及到的软件,这一节中,我们介绍一下这些软件的安装。一、安装JDK8我之前的一篇文章中,介绍了如何使用apt方式安装JDK8,这里我们使用解压安装的方式安装JDK8。1、解压到安装路径。上一节中,我们已经将JDK8下载到/usr/lib中。这里的路径没有限制,有人喜欢安装在/usr/lib下,有人喜欢安装原创 2017-11-10 07:33:18 · 257 阅读 · 0 评论