- 博客(27)
- 收藏
- 关注
RSS订阅原创 Java Spark算子：take 与 takeOrdered
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * take（num）算子： ...
2020-02-26 14:09:15
571
原创 Java Spark算子：reduce
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import java.util.A...
2020-02-26 13:56:49
790
原创 Java Spark算子：count 与 countByKey
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...
2020-02-26 13:47:10
334
原创 Java Spark算子：coalesce
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.ArrayList;import java.util.Arrays;import java.util.L...
2020-02-26 13:33:35
297
原创 Java Spark算子：cartesian
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;...
2020-02-26 11:27:28
217
原创 Java Spark算子：cogroup
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...
2020-02-26 11:15:52
224
原创 Java Spark算子：join
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...
2020-02-26 11:05:05
398
原创 Java Spark算子：sortByKey
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...
2020-02-26 10:54:03
575
原创 Java Spark算子：reduceByKey
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import scala.Tu...
2020-02-26 10:31:19
830
原创 Java Spark算子：groupByKey
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaSparkContext;import scala.Tuple2;import java.util.Arrays;import java.util.List...
2020-02-19 17:36:29
406
原创 Java Spark算子：distinct
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * distinct（）算子 *...
2020-02-19 17:07:42
270
原创 Java Spark算子：intersection
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * intersection算子：...
2020-02-19 15:13:34
168
原创 Java Spark算子：union
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * union() 算子： * 取...
2020-02-19 14:47:30
397
原创 Java Spark算子：sample
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import java.util.Arrays;import java.util.List;/** * sample(withRepl...
2020-02-19 14:37:27
210
原创 Java Spark算子：mapPartitionsWithIndex
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function2;import java.util.A...
2020-02-19 14:09:14
658
原创 Jave Spark算子：mapPartitions
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.FlatMapFunction;import org.ap...
2020-02-19 11:45:51
581
原创 Java Spark算子： flatMap
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.FlatMapFunction;import java....
2020-02-19 10:34:56
1862
原创 Java Spark算子：filter
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import java.util.Ar...
2020-02-18 15:25:51
1386
原创 Java Spark算子：map
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import java.util.Ar...
2020-02-18 15:10:05
443
原创 Java Spark算子：union
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.VoidFunction;import java.util...
2020-02-18 14:34:10
294
原创 Java Spark算子：forEach
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.VoidFunction;import java.uti...
2020-02-18 14:24:04
873
原创 在window和linux下部署jar包
一. java执行jar的语句1. 最简单的执行语句语句：java -jar jar包名.jar例如：我要运行的jar包名是 love.jar，那么执行语句如下。java -jar like.jar2. 常用的参数-Xms：设置jar包启动时所占用的内存-Xmx：设置jar包运行时所占用的最大内存例如：我需要的启动内存为512m，最大运行内存为1024m，那么执行语句就变成了下面...
2020-01-22 09:41:00
1052
原创 POI-解析Excel
一. POI介绍1. 简介POI为“Poor Obfuscation Implementation”的首字母缩写。Apache POI是Apache软件基金会的开放源码函式库，POI提供API给Java程序对Microsoft Office格式档案读和写的功能。2. 结构HSSF － 提供读写Microsoft Excel XLS 格式档案的功能。XSSF － 提供读写Microsoft...
2020-01-20 16:05:31
342
原创 JavaScript基础语法-条件语句
一.if-else语句语法if-else的语法分为三种：（1）if（ 条件 ）{ 条件为true时执行代码 }（2）if（ 条件 ）{ 条件为true时执行的代码 } else { 条件为false时执行的代码 }（3）if（ 条件1 ）{ 条件1为true时执行的代码 } esle if ( 条件2 ) { 条件1false条件2true } else { 都false }例子...
2020-01-15 22:04:04
251
原创 JavaScript基础语法-2
一.注释（1）单行注释：//（2）多行注释：/* */例如：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Demo4</title></head><body><script ...
2020-01-14 21:14:49
94
原创 kafka常见问题之重复消费问题
一.问题描述kafka出现重复消费的问题，一条传入卡夫卡中的消息可能被消费好几次。而且服务器出现以下日志：二.问题原因分析以及解决方案原因1：消费端的能力过于低下。消息处理完之后提交下一个消费的offset，但是在session-time-out前，消息还没有处理完，出现了超时问题。于是被kafka视为消费失败了，导致一直重复消费。解决方法1：（1）关闭spring-kafka的自动...
2020-01-14 11:21:05
1987
原创 JavaScript基础语法-1
一.标记javascript是包含在<script type="text/javascript"> </script>中间的。例如：<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>demo1</t...
2020-01-13 14:23:18
130
空空如也
python+selenium实现所有网站爬取
2023-07-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人