天無-优快云博客

原创 Spark常见调优方式

Spark调优资源调优合理设置Driver和Executor的个数以及他们的核数和内存大小 RDD优化 RDD复用，对RDD进行算子时，要避免相同的算子和计算逻辑下对RDD进行重复计算 RDD持久化，当多次对同一个RDD执行算子操作时，每一次都会对这个RDD以之前的夫RDD 重新计算，要避免这种情况，要对多次使用的RDD进行持久化并行度调节理想的并行度设置，是让并行度和资源相匹配，就是在资源允许的前提下，并行度要设置的尽可能大，达到可以充分利用集群资源。合理的设置并行度，可

2021-05-19 10:24:40 768

原创 Linux中安装SBT

1. 在官网上下载.tgz安装包 https://www.scala-sbt.org/download.html 2. 使用tar -zxvf 对安装包进行解压 tar -zxvf sbt-1.3.2.tgz 3. 配置环境变量 vim /etc/profile export SBT_HOME=/usr/soft/sbt PATH=$PATH:$SBT_HOME 刷新环境变量 source /etc/profile 4.简单测试 4.1 随便在磁盘的某个位置建立一个文件夹如下图所示 4.2 创

2021-04-30 11:20:25 1069

原创 Cenos6.5不能使用问题

解决Centos6.5的yum 源问题 ‘Loading mirror speeds from cached hostfile http://mirrors.aliyun.com/centos-vault/6.10/os/x86_64/repodata/repomd.xml: [Errno 14] PYCURL ERROR 6 - “Couldn’t resolve host ‘mirrors.aliyun.com’” Trying other mirror.’ 1.在/etc/yum.repos.d 下替

2021-03-28 10:41:30 420 1

原创 Java代码实现简单单词统计

加粗样式Java代码统计一个文件中单词出现的次数，并将统计后的结果写入到另一个文件中在这里插入代码片 package day15_IO.Demo002; import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.FileReader; import java.io.FileWriter; import java.util.HashMap; import java.util.Map; import java.u

2020-12-02 09:29:21 1577

原创 Java语言实现二分查找

package Day04; import java.util.Scanner; public class Demo06_Binary_Ordering { public static void main(String[] args) { int[] arr = new int[]{1, 2, 3, 4, 5, 6, 7, 8, 9, 10};//使用二分查找时，数组中的数据要有序； Scanner scanner = new Scanner(System.in)

2020-11-15 00:02:06 209

原创用Java实现随机生成100个随机数并放在数组里，排序并输出

在这里插入代码片package Day04.Day04_Practice; import java.util.Random; /*生成一百个随机数，放入数组，然后排序输出。 */ public class Practice08 { public static void main(String[] args) { Random random = new Random(); int [] arr = new int[100];//动态初始化一个长度为100的数组

2020-11-14 23:52:02 17754

原创 Java实现猜数字小游戏

*Java实现猜数字小游戏在这里插入代码片 package com.demo; import java.util.Random; import java.util.Scanner; // 1.猜数字游戏 // 整体代码思路如下 /* 随机生成0——100之间的数字,供玩家猜测,玩家需要猜测10个数字,每猜一个数字有3次猜测机会, 若猜对了这个随机生成的数字会加10分且会进行下一个数字的猜测,若三次机会用完了，则会进行下一个数字的猜测。10个数字猜完之后，会输出这个玩家，猜对的次数和最终的成绩。...

2020-11-11 22:47:16 1172

原创 Java代码求水仙花数

这里写自定义目录标题Java代码求水仙花数 Java代码求水仙花数 // 求水仙花数. // 1.什么是水仙花数 // 2.水仙花数是一个三位数，且水仙花的个位,十位,百位的数字立法和等于原数。 public class demo_18 { public static void main(String[] args) { int number = 0, x = 0, y = 0, z = 0;//x表示3位数的百位上的数字,y表示三位百位上的数字,z表示三位数上个位的数字 int count

2020-11-11 19:45:29 808

原创用Java实现判断2个数组是否相同

用Java实现判断2个数组是否相同 // 1.首先定义一个Compare()方法 2个参数类型分别是int类型的数组。 // 2.定义一个boolean类型的变量初始赋值为false。 // 3.然后将2个数组进行比较,先比较2个数组的长度，若2个数组的长度不同则将decide的值修改为false // 4.之后对每个数组进行遍历，比较每个数组元素是否相等 // public static boolean Compare (int [] arr,int [] arr2){ boole

2020-11-10 22:00:53 4720 6

weixin_45139543的博客