
大数据
文章平均质量分 61
Smoozer
这个作者很懒,什么都没留下…
展开
-
spark-sql 安装,配置以及测试
step 1: 下载spark包,如:spark-1.6.1-bin-hadoop2.6.tgzstep 2: 解压:tar zxvf spark-1.6.1-bin-hadoop2.6.tgzstep 3: 配置hive数据源方法1:将{hive_home}/conf下的hive-site.xml复制到spark-1.6.1-bin-hadoop2.6/c原创 2016-07-13 18:45:26 · 1221 阅读 · 0 评论 -
利用 livy 远程提交 spark作业
利用 livy 远程提交 spark作业1. 下载,安装 livy下载 地址 :http://livy.io/quickstart.html下载之后,解压即可运行2. 配置环境变量export SPARK_HOME=/usr/lib/spark export HADOOP_CONF_DIR=/etc/hadoop/conf3.配置主机原创 2016-08-19 09:27:41 · 9418 阅读 · 2 评论 -
zeppelin 下载和安装
zeppelin 下载和安装1. 下载:下载地址: http://www-eu.apache.org/dist/zeppelin/zeppelin-0.6.0/zeppelin-0.6.0.tgz 2. 解压:tar -axvf http://www-eu.apache.org/dist/zeppelin/zeppelin-0.6.0/zeppelin-0.6.0.tgz原创 2016-08-11 10:16:29 · 1507 阅读 · 0 评论 -
spark-shell 运行报错 OutOfMemoryError
spark-shell 运行报错 OutOfMemoryError错误信息:java.lang.OutOfMemoryError: unable to create new native threadat java.lang.Thread.start0(Native Method)at java.lang.Thread.start(Thread.java:714)at java原创 2016-09-22 10:47:58 · 1394 阅读 · 0 评论