ccszbd的博客

这段时间太忙，现在终于有点时间补充一下近段日子来的学习笔记，下面讲一讲Spark的安装与部署。 Spark 它是一个快速的，通用的集群计算系统。它对Java，Scala，Python和R提供了高层API，并且有一个经优化的支持通用执行图计算的引擎。 它还支持一组丰富的高级工具，包括用于 SQL 和结构化数据处理的 Spark SQL，用于机器学习的 MLlib，用于图计算的 GraphX 和 ...

Linux介绍和环境搭建 linux的主要特点 基本思想 Linux的基本思想有两点： 一切都是文件； 每个软件都有确定的用途。 完全免费，多用户、多任务； 良好的界面，支持多种平台。 注意： linx是一个免费的像windows一样的操作系统 linux中几乎一切是基于文件，文件几乎没有后缀区分 linux中有且仅有一个超级用户root linux一般用作服务器 linux的目录结构 ...

hadoop到底是什么？ hadoop平台(项目)是一个可靠地、可扩展的、可分布式计算的开源软件 hadoop平台是一个框架，允许使用简单的编程模型 在计算机集群中对大型数据集进行分布式处理 该平台被设计成可以从单个服务器扩展到数千台服务器，每个服务器都提供本地计算和存储 该平台也被设计成可检测和处理应用层的故障(即高可靠，高容错)，高可用服务是基于计算机集群的，并且其中每一台计算机都有可能失败 ...

文件操作 cd 进入操作 1.1创建文件和目录(指定目录和不指定目录的区别) mkdir /tmp/test01 //创建空文件夹 mkdir-p /data1/hadoop/hdfs/name //递归创建文件夹 touch /tmp/test01/file.txt //创建空文件 vi file.log //创建空文件并进入编辑模式 echo>file.txt //创建file.txt并...