WordCount
wyqwilliam
提供京津冀地区最专业的职称评审路径规划、政策咨询、成果梳理、流程托管、答辩指导,欢迎私信咨询(zhishentong)。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
用Python统计单词的个数写wordcount
'''Created on 2018年9月22日@author: Administrator'''from pyspark.conf import SparkConffrom pyspark.context import SparkContextfrom pyspark.streaming.tests import resultfrom test.test_importlib.n...原创 2018-09-23 09:58:31 · 3168 阅读 · 0 评论 -
Spark写WordCount
package com.bjsxt.cn;import java.util.Arrays;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api...原创 2018-09-23 09:53:58 · 390 阅读 · 0 评论 -
Spark部分:Java版Wordcount(包括flatmap切割,maptopair转换,reducebykey排序,foreach遍历输出)【Java版纯代码】
package com.bjsxt.scala;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;...原创 2018-07-21 00:01:10 · 1311 阅读 · 0 评论 -
MapReduce版Wordcount的书写
主方法:package com.bjsxt.sn;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.mapreduce.Job;import org...原创 2018-09-07 08:38:00 · 195 阅读 · 0 评论
分享