slibra_L的博客

通过vim /etc/hostname设置主机名，如下图所示：三台服务器，/etc/hostname的内容分别如下：centos001.hadoop centos002.hadoop centos003.hadoop通过vim /etc/hosts设置hosts文件内容，集群内各节点/etc/hosts文件统一配置为：172.16.90.44 centos001.hadoo

虽然要学习spark，选择linux的版本更合适，之前在台式机上配置了centos的虚拟机并安装了hadoop和spark，可是无奈笔记本性能不行，如果安装虚拟机会很卡，所以只能在windows中安装spark加以练习1.1、jdk安装安装Oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk...

由于配置手册中的免密登陆配置略显复杂，所以找到了一个相对简单的配置方式1、生成RSA公钥$ ssh-keygen -t rsa    一直回车生成一对公用密钥$ ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/beifeng/.s

hadoop搭建过程中，必须保证集群内所有主机的时间同步，由于手册中的设置方法略显复杂，以下为一个简单的配置方法：**把hadoop01.com这台服务器配置为时间服务器**其他服务器来同步我们这台时间服务器centos001.hadoop**目的：使所有服务器时间一致[三台服务器 root用户]# date -R  检查系统当前时区 Fri, 03 Mar 201

1、下载安装mysqlwget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpmsudo rpm -ivh mysql-community-release-el7-5.noarch.rpmsudo yum install mysql-server创建初始密码：一定要字母+数字!  修改密码方法：

有朋友说安装好ambari后，hadoop的配置基本算是成功了，但是在配置ambari时还是不断报错 1、无法连接目标主机 解决方法：将centos001改为centos001.hadoop，一定要写成这样的格式 2、公钥错误 解决方法：将RSA改成DSA另外：不要安装ambari中自带spark，最好之后自己安装spark

在windows10环境下搭建单机版spark，使用ml包运行时报错from pyspark.ml.classification import GBTClassifierGBT = GBTClassifier(featuresCol="features", labelCol="label", predictionCol="prediction", ...

问题描述最近换了一台电脑，将原电脑的spark streaming代码考到了新电脑上，使用IDEA运行却报错了Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState'The root scratch dir: /tmp/hive on HDFS should be writable经检查发现是/tmp/...