- 博客(28)
- 收藏
- 关注
RSS订阅原创 Java、Scala的SortByKey与SortBy
top.txt文件取前三位数（Java）sortByKey运行结果取前三位数（Java）sortBy运行结果**取最大的前三位数（Scala）sortByKey **运行结果取最大的前三位数（Scala）sortBy运行结果...
2019-11-04 20:22:00
611
原创 Spark
spark基本工作原理画图讲解Spark的基本工作原理1、分布式2、主要基于内存（少数情况基于磁盘）3、迭代式计算RDD以及其特点1、RDD是Spark提供的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集。2、RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上，从而让RDD中的数...
2019-10-24 10:36:52
240
原创 spark集群安装
一1、准备三台Linux服务器，安装好jdk2、上传spark-安装包到Linux上解压安装包到指定位置tar -zxvf spark-1.5.1-bin-hadoop2.4.tgz -C /home/hadoop/apps3、配置Spark进入到Spark安装目录cd /home/hadoop/apps/spark-1.5.1-bin-hadoop2.4进入conf目录并重命名并...
2019-10-24 09:34:52
189
原创 Scala 隐式转换与隐式参数
引言Scala提供的隐式转换和隐式参数功能，是非常有特色的功能。是Java等编程语言所没有的功能。它可以允许你手动指定，将某种类型的对象转换成其他类型的对象。通过这些功能，可以实现非常强大，而且特殊的功能。Scala的隐式转换，其实最核心的就是定义隐式转换函数，即implicit conversion function。定义的隐式转换函数，只要在编写的程序内引入，就会被Scala自动使用。Sc...
2019-10-24 09:17:05
124
原创 Scala 类型参数
引言类型参数是什么？类型参数其实就类似于Java中的泛型。先说说Java中的泛型是什么，比如我们有List a = new ArrayList()，接着a.add(1)，没问题，a.add(“2”)，然后我们a.get(1) == 2，对不对？肯定不对了，a.get(1)获取的其实是个String——“2”，String——"2"怎么可能与一个Integer类型的2相等呢？所以Java中提出了...
2019-10-24 08:56:52
141
原创 Scala 匹配模式
引言模式匹配是Scala中非常有特色，非常强大的一种功能。模式匹配，其实类似于Java中的swich case语法，即对一个值进行条件判断，然后针对不同的条件，进行不同的处理。但是Scala的模式匹配的功能比Java的swich case语法的功能要强大地多，Java的swich case语法只能对值进行匹配。但是Scala的模式匹配除了可以对值进行匹配之外，还可以对类型进行匹配、对Array...
2019-10-23 17:10:19
141
原创 Scala 函数式编程之集合操作
课程大纲1、Scala的集合体系结构2、List3、LinkedList4、Set5、集合的函数式编程6、函数式编程综合案例：统计多个文本内的单词总数Scala的集合体系结构// Scala中的集合体系主要包括：Iterable、Seq、Set、Map。其中Iterable是所有集合trait的根trait。这个结构与Java的集合体系非常相似。// Scala中的集合是分成可变...
2019-10-23 16:20:45
235
原创 Scala 函数式编程
引言Scala中的函数是Java中完全没有的概念。因为Java是完全面向对象的编程语言，没有任何面向过程编程语言的特性，因此Java中的一等公民是类和对象，而且只有方法的概念，即寄存和依赖于类和对象中的方法。Java中的方法是绝对不可能脱离类和对象独立存在的。而Scala是一门既面向对象，又面向过程的语言。因此在Scala中有非常好的面向对象的特性，可以使用Scala来基于面向对象的思想开发大...
2019-10-23 16:07:17
96
原创 Scala 面向对象编程之Trait
课程大纲1、trait基础知识1-1 将trait作为接口使用1-2 在trait中定义具体方法1-3 在trait中定义具体字段1-4 在trait中定义抽象字段2、trait高级知识2-1 为实例对象混入trait2-2 trait调用链2-3 在trait中覆盖抽象方法2-4 混合使用trait的具体方法和抽象方法2-5 trait的构造机制2-6 trait字段的初...
2019-10-23 15:37:48
129
原创 Scala 面向对象编程之对象
object// object，相当于class的单个实例，通常在里面放一些静态的field或者method// 第一次调用object的方法时，就会执行object的constructor，也就是object内部不在method中的代码；但是object不能定义接受参数的constructor// 注意，object的constructor只会在其第一次被调用时执行一次，以后再次调用就不会...
2019-10-23 14:10:25
103
原创 Scala 面向对象编程之类
scala是面向对象，也是面向过程的。就是可以传函数。在java中，要想传函数，一般就是封装到一个类里，传一个匿名内部类。scala的函数是一级成员，可以定义一个函数，传到另外一个函数里定义一个简单的类// 定义类，包含field以及方法class HelloWorld { private var name = "leo" def sayHello() { print("Hello,...
2019-10-21 19:30:18
114
原创 scala Map与Tuple
创建Map// 创建一个不可变的Mapval ages = Map(“Leo” -> 30, “Jen” -> 25, “Jack” -> 23)ages(“Leo”) = 31:13: error: value update is not a member of scala.collection.immutable.Map[String,Int]ages(“Leo”)...
2019-10-21 19:12:28
150
原创 scala数组操作
Array在Scala中，Array代表的含义与Java中类似，也是长度不可改变的数组。此外，由于Scala与Java都是运行在JVM中，双方可以互相调用，因此Scala数组的底层实际上是Java数组。例如字符串数组在底层就是Java的String[]，整数数组在底层就是Java的Int[]。// 数组初始化后，长度就固定下来了，而且元素全部根据其类型初始化val a = new Array...
2019-10-21 17:40:37
223
原创 Scala函数入门
默认参数在Scala中，有时我们调用某些函数时，不希望给出参数的具体值，而希望使用参数自身默认的值，此时就定义在定义函数时使用默认参数。def sayHello(firstName: String, middleName: String = “William”, lastName: String = “Croft”) = firstName + " " + middleName + " " +...
2019-10-21 16:26:28
92
原创 Scala条件控制与循环
if表达式·if表达式的定义：在Scala中，if表达式是有值的，就是if或者else中最后一行语句返回的值。·例如，val age = 30; if (age > 18) 1 else 0·可以将if表达式赋予一个变量，例如，val isAdult = if (age > 18) 1 else 0·另外一种写法，var isAdult = -1; if(age > 18...
2019-10-21 15:26:45
110
原创 Scala基础语法
Scala与Java的关系Scala与Java的关系是非常紧密的！！因为Scala是基于Java虚拟机，也就是JVM的一门编程语言。所有Scala的代码，都需要经过编译为字节码，然后交由Java虚拟机来运行。所以Scala和Java是可以无缝互操作的。Scala可以任意调用Java的代码。所以Scala与Java的关系是非常非常紧密的。Scala解释器的使用·REPL：Read（取值）-...
2019-10-21 14:53:13
104
原创 python 多线程
1、主线程与小弟线程import _thread #多线程，资源共享import win32api def show(i): mtstr = win32api.MessageBox(0,"你真的很不错","来自mom的问候",0) # 0 代表系统，你真的很不错代表内容，来自mom代表标题，0代表窗口类型0，1，2，3for i in range(5): #小线程...
2019-08-22 20:32:28
156
原创 python Process
1、multiprocessingdef info(title): print(title) print(__name__) print('father',os.getpid()) print('self',os.getpid()) print('-------')if __name__ == "__main__": #除了创建的子进程和子进程调用的...
2019-08-21 19:47:29
1521
原创 python多进程练习
1、下载歌曲!歌曲名最好用已有的import jsonimport multiprocessingimport requestsdef text (path): list1 = [] list2 = [] with open(path,mode='r') as f: res = f.readlines()[0].strip('\n').split('...
2019-08-21 16:11:33
131
原创 python 进阶/进程和线程
1.PEP8编码规范，以及开发中的一些惯例和建议1、代码编排：1）缩进四个空格，空格与Tab不能混用2）行长80，防止单行逻辑复杂2、import：1）不能用 from xxx import *2) 顺序：标准库第三方库自定义库3）单行不要import 多个库4) 模块内用不到的不要import3、空格1）：, ; 后面跟一个空格，前面五空格（行尾分号后五空格）2）...
2019-08-20 20:43:41
107
原创 python Homework04/函数、类
函数1、五角数：一个五角数被定义为n(3n-1)/2开始的几个数是1、5、12、22…def getPentagonalNumber(n):编写一个测试程序显示前100个五角数，每行显示10个def getPentagonalNumber(n): if n % 10 == 0: print()def Start(): for n in range(1,...
2019-08-19 21:09:24
1158
原创 python面向对象编程基础与进阶
编程基础类与对象类是对象的蓝图和模板，而对象是类的实例定义类class zmm(sbject): def __init__(self,num): self.a = num print(self.a)if __name__=="__main__": zm = zmm(10)#可直接调用__init__ 案例：读取文件名的大...
2019-08-19 17:06:09
138
原创 python 字符串和常用数据结构
使用字符串字符串就是由零个或多个字符组成的有限序列def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的拷贝 print(str1.capitalize()) # Hello, world! # 获得字符串变大写后的拷贝...
2019-08-18 19:58:25
186
原创 python Homework03
1、（财务应用程序：计算未来学费）假设大学今年的学费是10000美元，且以每年5%增长。编写程序计算十年之后的学费以及从现在开始到十年后大学四年的总学费money = 10000si = 0for i in range(13): money = money * 0.05 + money if i == 9: print("十年后的学费是:%d"%money)...
2019-08-18 19:31:57
1496
原创 python Homework02
#9*9乘法表for i in range(1,10): for j in range(1,i+1): print('%dx%d=%d'%(i,j,i*j),end=' ') print() """ 1x1=12x1=2 2x2=43x1=3 3x2=6 3x3=94x1=4 4x2=8 4x3=12 4x4=165x1=5 5x2=10 ...
2019-08-16 08:29:46
343
原创 python 循环结构、函数和模块的使用
循环结构for-in循环用for循环实现1~100求和sum = 0# 用于设定for循环的迭代次数,# range 也是一个前闭后开# 可迭代对象for x in range(101):#range可以用来产生一个不变的数值序列，而这个序列通常用在循环里 sum += xprint(sum)range(101)可以产生一个0到100的整数序列。range(1, 1...
2019-08-15 17:18:27
409
原创 python Homework01
"""1题加密邮箱"""a = input("请输入你的邮箱：")for i in a: c = ord(i)+10 d = chr(c) print(d,end="") """ 请输入你的邮箱：123456@qqq.com;<=>?@J{{{8myw """"""2题将摄氏转为华氏"""c = floa...
2019-08-15 08:58:13
253
原创 python语言元素、分支结构
语言元素1、变量和类型：整型、浮点型、字符串型、布尔型、复数型。2、变量命名：硬性规则：变量名由字母、数字和下划线构成，数字不能开头。大小写敏感。不要跟关键字和系统保留字冲突。PEP 8要求：用小写字母拼写，多个单词用下划线连接。受保护的实例属性用单个下划线开头私有的实例属性用两个下划线开头逢冒必缩3、变量的使用：例1：“”"输入两个数字,返回这两个数字的...
2019-08-14 17:21:43
338
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人