- 博客(42)
- 收藏
- 关注
原创 spark数据清洗教程
在未来,我们可以期待Spark在数据清洗和预处理方面的进一步发展,例如支持更多的算法和特征工程,提供更高效的性能和更好的用户体验。在这个例子中,我们首先创建了一个数据集,然后使用fillna方法处理缺失值,接着使用StandardScaler和MinMaxScaler方法进行数据归一化和数据标准化,然后使用StandardScaler方法进行数据缩放,最后使用OneHotEncoder方法进行数据转换。在实际应用场景中,我们可以使用Spark进行数据清洗和预处理,以便于后续的数据分析和机器学习任务。
2025-04-02 16:03:19
736
原创 配置hosts
现在我们可以通过finalshell这个工具来连接我们的远程服务器,不过我们连接主机的时候,需要填入对方的ip地址,这个很麻烦。把虚拟机上的软件yum想象成你自己开的一家商场,那么yum的源就是你的供货商。hosts 文件是一个本地的文本文件,它的作用是将主机名映射到对应的 IP 地址,在 DNS(域名系统)解析之前,系统会先查询 hosts 文件来确定目标主机的 IP 地址。Yum是一个linux工具,用来从网络下载安装软件到linux操作系统中,在此之前,我们先要确保虚拟机的网络是通畅的。
2025-03-04 10:58:34
577
原创 VI编辑器常用命令
vi 是 Linux 系统中常用的文本编辑器,它有两种模式:命令模式(Command Mode)和插入模式(Insert Mode)。:%s/old/new/g:替换文件中所有的“old”为“new”。:%s/old/new/g:替换文件中所有的“old”为“new”。:%s/old/new:替换每行中的第一个“old”为“new”。:%s/old/new/g:在整个文件中替换文本。:g/old/p:打印包含“old”的所有行。:v/old/d:删除包含“old”的所有行。
2025-03-03 19:28:00
246
原创 VM虚拟机IP配置
linux中,ip地址是写在配置文件(/etc/sysconfig/network-scripts/ifcfg-ens33)中,这里使用 vi 编辑器去修改即可!如果不进行设置,每次启动机器时都可能是随机的IP,不方便我们后续操作。注意:这里的第三个部分的10并不是固定的,我们自己可以约定,但是约定之后就要固定下来。让所有的vm配置的虚拟机使用NAT时,它们的网段都是一致的。(2)配置Windows本地虚拟网卡,让本机也可以访问虚拟机。具体设置为:进入虚拟机,修改对应的IP。(3)设置虚拟机的IP。
2025-03-03 19:23:48
149
原创 Linux常用操作命令
/查找/var/log目录中更改时间在7日以前的普通文件,并在删除之前询问它们。scp /opt/data.txt 192.168.1.101:/opt/ //将本地opt目录下的data文件发送到192.168.1.101服务器的opt目录下。mv /usr/tmp/tool /opt //将/usr/tmp目录下的tool目录剪切到 /opt目录下面。cp /usr/tmp/tool /opt //将/usr/tmp目录下的tool目录复制到 /opt目录下面。
2025-02-25 08:52:55
159
原创 Scala函数的隐式参数
def sayName(implicit name:String="小明"):Unit={implicit val value:String="小马"println("我的名字是:"+name)sayName("小王")
2024-12-11 14:44:18
81
原创 正则表达式查找用户名4-12
object ghj { def main(args: Array[String]): Unit = { val name1="1admin" val name2="admin123" val name3="admin" val name4="ad_123Ab" val name5="admin123" val reg="[a-zA-Z_]\\w{5,11}".r println(reg.matches(name1)) println(
2024-12-09 14:55:58
316
原创 Scala循环代码
case 42=>println("湖北")case 11=>println("北京")case 31=>println("上海")case _=>println("其他")// println("湖北")// println("北京")// println("上海")
2024-12-02 15:25:40
187
原创 Scala关于身份证的代码
val zodiacs = Array("鼠", "牛", "虎", "兔", "龙", "蛇", "马", "羊","猴", "鸡", "狗", "猪")val zodiacIndex = (yearInt - 4) % 12 // 2008年是鼠年,所以用4(鼠年的索引)val birthday = id.substring(10,14) // 不包括终点下标 (起点下标,终点下标)println(s"身份证号${id}是不合法的")println(s"身份证号${id}是合法的")
2024-11-27 16:11:30
430
原创 根据身份证输出籍贯
case (x1,x2,x3,x4) => println("有四个元素")case (x1,x2,x3) => println("有三个元素")case "42" => println("湖北")case "33" => println("浙江")case "11" => println("北京")case "31" => println("上海")// println("湖北")// println("浙江")// println("未知")
2024-11-27 16:07:03
218
原创 Scala文件读取,成绩分析
writer.println(s"姓名:${s.name}, 名次:${s.mingci},语文: ${s.yuwen}, 数学: ${s.shuxue}, 英语: ${s.yingyu}, java: ${s.java}, 总分:${s.zongfen}, 平均分:${s.pinjunfen}")writer.println(s"姓名:${s.name}, 语文: ${s.yuwen},总分:${s.zongfen}")姓名,语文,数学,英语,java。张伟,87,92,88,89。
2024-11-27 15:42:27
245
原创 case class 代码
val book1=new Book("西游记","吴承恩",100)val book2=new Book("西游记","吴承恩",100)val book3=new Book("西游记","吴承恩",100)
2024-11-13 16:23:59
164
原创 查询图书信息
定义图书类:我们定义了一个Book类,包含书名、作者和价格三个属性。创建图书列表:我们创建了一个ListBuffer来存储图书对象,并添加了六本图书。查询图书:定义了一个函数isBookInList,用于查询图书是否在列表中。删除图书:使用remove方法删除第四本书。排序图书:使用Sorting.quickSort方法对图书按价格从高到低排序。遍历图书列表:使用foreach方法遍历图书列表,并打印每本书的详细信息。计算总金额:使用foldLeft方法计算所有图书的总金额。
2024-11-13 15:08:50
109
原创 创建可变map
import scala.collection.mutableobject map2 { def main(args: Array[String]): Unit = { val library=mutable.Map[Int,(String,String,Int)]( 1->("1984","George Orwell",5), 2->("To kill a Mockingbird","Harper Lee",3), 3->("The G
2024-11-11 15:54:34
191
原创 图书馆管理题目
val books1=mutable.Set("魔道祖师","天官赐福","人渣反派自救系统")val books =mutable.Set("朝花夕拾","全球高考")val rs=books.contains("魔道祖师")println(s"是否存在魔道祖师${rs}")books+="这题超纲了"books+="魔道祖师"
2024-11-11 15:34:29
225
原创 Scala包的导入
报名应该为小写,并且如果代码在一个拥有网站的组织中开发,它应该使用如下约定:< top-level-domain >.< domain-name >.< project-name >。一种声明包的方式是使用花括号,并且这种方式可以嵌套包,并且提供更好的范围与封装控制。
2024-11-06 16:36:53
141
原创 contain查询元素是否存在
val course=mutable.Set("语文","数学")course ++= mutable.Set("体育","音乐")// val set1=Set("小花","小明","小明")val rs=course.contains("体育1")println(s"体育是否存在:${rs}")course += "英语"course += "英语"course += "英语"course += "英语"course += "英语"course += "语文"
2024-11-06 16:34:28
136
原创 子类实现抽象类
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。原文链接:https://blog.youkuaiyun.com/qq_28652401/article/details/90815812。
2024-10-21 16:43:07
119
原创 循环代码continue,break
/continue:跳出本轮循环,进入下一轮.在scala没有continue这个关键字。//break:跳出整个循环。
2024-10-21 16:39:57
139
原创 Scala返回值类型以及最大最小值
/var k = getMax(x,y) //得到x,y的较大者。// println(s"最小值是: $min,最大值是: $max")//getMax(k,z) //得到x,y,z的较大者。if (z > max) max = z //与z比较。//假设最大值是x,依次与y,z比较,然后更新。(min,max)//返回多个值 -元组类型。2,如果没有参数,可以省略的() 和要用时的()//目标,写一个函数,计算1-n的偶数之和。//目标:写一个函数,计算1——100的和。
2024-10-21 16:37:55
383
原创 Scala函数的的定义
/简写2,用_占位符,(Int,Int)=>Int 它表示一种类型:收到两个整形的参数,返回一个整型值。//var classRoom = "教室310" //字面量。var classRoom = "教室310" // 字面量。//println("教室310")// 字面量。// 教室310 + 教室309。//简写1, 省略{}//定义函数的方式1。//定义函数的方式2。
2024-10-21 16:36:31
143
原创 设计一个Point类,其X和Y可以通过构造器提供。在设计一个子类LsblePoint它来继承Point类,其给构造器节接收一个标签值和X,Y坐标
val lableP1=new LablePoint(1,2,"小王")
2024-10-21 15:07:39
157
原创 定义一个类并计算一个数字的平方
/ 创建一个apply方法,用于便捷地创建Number类的实例。// 使用伴生对象的apply方法创建Number实例。// 创建一个伴生对象,可以不需要实例化类来调用其方法。// 调用square方法并打印结果。// 定义一个名为 `Number` 的类。// 定义一个方法来计算数字的平方。// 主方法,程序的入口点。
2024-09-30 16:38:25
153
原创 每天学习两个scala语法4
Scala具有一种特殊的类,称为“case类9”。默认情况下,case类的实例是不可变的,并且它们通过值进行比较(不同于类,其实例通过引用进行比较)。greet方法的返回类型为Unit,表示没有有意义的返回值。它的用法类似于Java和C中的void°。greeter.greet("Scala开发者")//定义类之后,可以使用new创建类的实例。8.case类(Case Class)Hello, Scala开发者!7.类(Class)
2024-09-18 14:25:12
446
原创 每天学习两个scala语法3
greeter.greet("Scala开发者") //(Scala其实有一个return关键。greet方法的返回类型为Unit,表示没有有。可以使用class关键字,在它后面添加类名。它的用法类似于Java和C中。def后跟名称、参数列表、返回类型以。方法感觉上和函数非常相似,但是它们其实。方法是用def关键字定义。这段代码主体中的最后一个表达式是方法的。//这个方法实现了两个参数相加后,Hello, Scala开发者!6.方法(Methods)再与第三个参数相乘。7.类(Class)
2024-09-14 12:37:20
227
原创 【无标题】计算并打印两个数的和
在这个例子中,我们定义了一个名为`SimpleCalculator`的对象,它包含一个`main`方法和一个`add`方法。`main`方法是程序的入口点,它初始化两个整数`number1`和`number2`,然后调用`add`方法来计算它们的和,并将结果打印到控制台。`add`方法接收两个整数参数并返回它们的和。将代码保存到一个以`.scala`结尾的文件中,然后使用Scala编译器进行编译和运行。以下是一个简单的Scala程序示例,该程序用于计算并打印两个数的和。
2024-09-09 15:36:46
300
原创 每天学习两个scala语法2
变量和数值很像,区别在于变量的值是可以修改的。Scala使用var来定义变量。Scala可以通过将表达式用孙括起来,从而组合表达式。x=3//这句话会被编译,因为x被声明是变量var,而不是数值val。varx:Int=1+1//声明了x是一个整数型变量。3.变量(Variables)
2024-09-09 15:34:44
140
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人