大数据机器学习

第一步. 修改 spark-1.5.0目录下的pom.xml文件，匹配自己的软件版本，我的修改如下：vi pom.xml  -- 修改如下相关软件的版本1.72.6.0第二步. 尝试用maven编译Spark export MAVEN_OPTS="-Xmx4g -XX:MaxPermSize=1024M -XX:ReservedCodeCacheSize=102

前提本文假设开发环境是在Linux平台，并且已经安装下列软件，我个人使用的是arch linux。jdkscalasbtintellij-idea-community-edition安装scala插件为idea安装scala插件，具体步骤如下选择File->Setting      2 步骤2： 选择右侧的

1.解决：在hive 目录的lib中加入mysql-connector-java-5.1.35-bin.jar

SparkSQL初始化Java APISparkConf sparkConf = new SparkConf().setAppName("JavaSparkSQL"); JavaSparkContext ctx = new JavaSparkContext(sparkConf);   SQLContext sqlContext = new SQLContext(ctx);启动Spark

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Unable to alter table. Invalid method name: 'alter_table_with_cascade' msg: org.apache.spark.sql.execution.QueryEx

Spark-sql部署版本Hadoop-2.5.0-cdh5.3.2 Hive-1.2.1-cdh5.3.2Spark-1.5.0以bihdp01节点为例spark master在CNSH001上：spark://bihdp01:7077spark HistoryServer在CNSH001上：bihdp01:8032spark eventLog在hdfs上：hdf

spark-sql部署版本Hadoop-2.5.0-cdh5.3.2 Hive-0.13.1-cdh5.3.2Spark-1.5.1以CNSH001节点为例spark master在CNSH001上：spark://CNSH001:7077spark HistoryServer在CNSH001上：CNSH001:8032spark e

使用Java开发一个helloworld级别UDF，打包成udf.jar，存放在/home/Hadoop/lib下，代码如下：package com.luogankun.udf;import org.apache.hadoop.hive.ql.exec.UDF;public class HelloUDF extends UDF { public String evaluate(

1. 解决方法：缺少包

1.错误：解决方法：

1.spark单机安装1>.下载spark，解压2.配置环境变量~/.bashrcexport SPARK_HOME=/home/cpp/software/spark#export HADOOP_CONF_DIR= #export YARN_CONF_DIR=export PATH="/opt/anaconda3/bin:$PATH:/home/cpp/software/spark/bin"...