数据挖掘学习者

一直想学习着写博客做个备忘，但是一直懒也没有开始做，终于最近虚拟机的东西太多了想重新装一个虚拟机，由于自己是学数据挖掘的，就写一篇关于单机版spark的安装攻略来练练手。安装包准备spark原理什么的这里就不介绍了，有问题大家最好参考官方文档，网址为：这里写链接内容。 本次安装主要用到的安装包如下： 1.spark-1.5.2-bin-hadoop2.6.tgz 2.hadoo

一、简介 CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分，分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包，例如hive、hdfs、spark等等。 由于实验室服务器集群实现了硬件虚拟化，要在虚拟资源重新搭建CDH

hive安装方式有内嵌方式、本地方式和远程方式。此次搭建hive的目的主要是项目需要学习hive，因此选用较为简单方便的本地模式。这个需要借助mysql，下面进入具体步骤。一、环境搭建1.hadoop搭建 hive其实工作原理就是将sql查询语句转换为mapreduce的程序，因此安装hadoop是前提，当然其中也包含jdk的安装以及相关的一些配置。本文不介绍hadoop安装，