
大数据
pcno1
这个作者很懒,什么都没留下…
展开
-
通过maven将spark源码导入idea
1.环境win7idea15gitmaven2.步骤2.1 git下载spark源码git clone git://github.com/apache/spark.git2.2 设置mavenmaven解压目录 D:\soft\apache-maven-3.3.9 修改conf目录下 settings.xml文件设置jar的目录<localRepository>D:\\reposito原创 2016-12-02 13:26:54 · 4391 阅读 · 1 评论 -
安装hadoop集群无法启动datanode
无法启动datanode解决的心得安装成功后 各机hdfs-site.xml 配置的dfs.datanode.data.dir 的 dfs/data/current/VERSION 中的clusterID是一至的 这个值和 http://**:50070/上面的Overview下面的 Cluster ID也是一致的。如果安装后无法启动,很可能是这几个值不一致。请检查日志。原创 2016-11-22 12:46:08 · 464 阅读 · 0 评论 -
spark集群配置
1.安装环境说明VMware 12ubuntukylin-15.10-desktop-amd64jdk1.8.0_73scala-2.10.5hadoop-2.6.0spark-1.6.0-bin-hadoop2.62.安装VMware(略)3.安装ubuntu安装过程(略)配置ubuntu安装好一个后复制三个,分别为 work1,work2,work3 其中 work1为maste原创 2016-11-22 14:43:14 · 533 阅读 · 0 评论 -
Hive1.2.1安装配置
一、前提-安装好 hadoop集群 -安装好 mysql 二、配置-配置环境变量-配置bin下hive-config.shexport JAVA_HOME=/usr/local/spark/jdk1.8.0_73export HADOOP_HOME=/usr/local/spark/hadoop-2.6.0export HIVE_HOME=/usr/local/spark/apache-hiv原创 2016-12-05 22:43:15 · 1047 阅读 · 0 评论 -
idea构建spark开发环境
idea搭建spark2 开发环境原创 2016-12-13 16:26:19 · 1803 阅读 · 0 评论