weixin_44519124的博客

在运行spark的时候本来是准备找的，却找路径找到hdfs里面了因为你曾经在id中运行spark访问hive数据库id中的resources有hdfs-site.xml所以就自动的去访问hdfs的路径解决原因删除这三个文件就好了...

当启动spark的时候报这个错误情况一：首先检查配置文件 /export/servers/spark/conf/spark-env.sh情况二：如果第一步都没问题 ，就在此检查是否有这个错误如果有你就查看 /export/servers/spark/jars里面是否有msql的包如果没有将hive里面的lib下的包导入即可cp /export/serv...

今天写sparkMsql的时候出现的错误如果字段你是复制粘贴过来你可能会报这个错解决方法删掉就好了

最近将整个架构升级到spark 2.0.0之后，发现一个问题，就是每次进行hive --service metastore启动的时候，总是会报一个小BUG。无法访问/home/ndscbigdata/soft/spark-2.0.0/lib/spark-assembly-*.jar: 没有那个文件或目录。其主要的原因是：在hive.sh的文件中，发现了这样的命令，原来初始当spark存在的时...

什么是Spark基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎。Spark特点快：Spark计算速度是MapReduce计算速度的10-100倍易用：（算法多）MR支持1种计算模型，Spsark支持更多的计算模型。通用：Spark 能够进行离线计算、交互式查询（快速查询）、实时计算、机器学习、图计算等兼容性：...

★注意1:大家之前安装的如果是CDH的Hadoop那么安装Spark的时候使用红线标出的重新编译之后的CDH版Spark即可安装●下载Spark安装包下载地址：http://spark.apache.org/downloads.html●解压重命名解压重命名●注意：如果有权限问题，可以修改为root，方便学习时操作，实际中使用运维分配的用户和权限即可...