
Spark
文章平均质量分 85
牧海归来
做一个有利于身边人的人
展开
-
spark: scala实现worldcount
spark: scala实现worldcount1. 首先创建hdfs目录在master节点(OPENFIRE-DEV)上创建hdfs目录,创建步骤如下://创建hdfs目录,普通目录是读取不到文件hdfs dfs -mkdir /alidata #将要统计单词的文件拷贝到hdfs目录中hadoop fs -put /usr/local/hado原创 2016-06-26 19:52:14 · 3260 阅读 · 0 评论 -
spark:scala读取mysql的4种方法
spark:scala读取mysql的4种方法1. 引入mysql的驱动包到/usr/local/spark/spark-1.6.0-bin-hadoop2.6/lib/hbase(目录根据配置而不同)mysql-connector-java-5.1.7-bin.jar并在mysql创建表stock:CREATE TABLE `stock` ( `id` dec原创 2016-06-26 20:07:10 · 19978 阅读 · 4 评论