spark
关注
分享
扫一扫
文章平均质量分 59
smarthhl
大数据架构师
展开
-
spark之基础学习篇：load文件 — WordCount
本节主要讲解spark加载不同的文件格式的方法，并且从local模式和cluster模式进行说明。1、加载txt文件1234567891011121314151617/** * txt格式：以空格分割 */import org.apache.spark.{SparkContext, SparkConf}object转载 2016-01-19 13:45:01 · 2122 阅读 · 0 评论 -
hive on spark的安装及问题
配置hivehive-site hive.metastore.uris thrift://database:9083 hive.metastore.client.socket.timeout 600s--> 600 把hive-site.xml 放到spark/conf目录下Mysql驱动放到spark/原创 2016-01-05 12:40:17 · 1118 阅读 · 0 评论 -
Window下spark开发环境搭建IDEA
Window下spark开发环境搭建IDEA1、下载Idea版本：14.1.32、安装scala插件Ctrl+Alt+S-- > Plugins -- > Plugins -- > scala 安装，等待安装后 -- >Finish 重启Idea3、新建Scala工程选择本机的Jdk版本和scala版本，如果没有安装，请自行安装4、配置工原创 2016-01-11 11:51:51 · 765 阅读 · 0 评论 -
Spark Streaming 的玫瑰与刺
前言说人话：其实就是讲Spark Streaming 的好处与坑。好处主要从一些大的方面讲，坑则是从实际场景中遇到的一些小细节描述。玫瑰篇玫瑰篇主要是说Spark Streaming的优势点。玫瑰之代码复用这主要得益于Spark的设计，以及平台的全面性。你写的流处理的代码可以很方便的适用于Spark平台上的批处理，交互式处理。因为他们本身都是基于RDD模型的，并且Spa原创 2016-01-15 11:02:08 · 975 阅读 · 0 评论 -
hive on spark的安装及问题
配置hivehive-site<property> <name>hive.metastore.uris</name> <value>thrift://database:9083</value></property> <property> &l原创 2016-01-05 12:52:31 · 148 阅读 · 0 评论