- 博客(6)
- 收藏
- 关注
RSS订阅转载 转-WordCount
import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { /** * 创建SparkConf（）并设置App名称 * local指本地 * 2代表在本地起两个线程 */ v...
2019-05-12 19:53:42
179
原创 机器学习
机器学习概述 1、数据挖掘有者50多年的发展史。机器学习是其子领域之一，特点是利用大型计算机集群来从海量 数据中分析和提取知识。 2、机器学习在与计算统计学密切相关。它与数学优化紧密关联，为其提供方法、理论和应用领域。 3、机器学习在各种传统设计和编程不能胜任的计算任务中有广泛的应用。典型的应用如： 垃圾邮件过滤、光学字符识别(OCR) ,搜索引擎 和 计算机视觉。 4、机器学习有时...
2019-05-10 08:59:04
296
原创 scala函数与方法
方法和函数的区别 两者在语义中的区别很小 在scala中：方法是类的一部分 函数是一个对象，可以赋值给一个变量 类中的就是方法，普通的就是函数 换句话说：在类中定义的函数就是方法 scala中的方法类似于java中的方法，是组成类的一部分 scala中的函数则是一个完整的对象，scala中函数其实就是继承了Trait的类的对象 scala中使用val语句定义函数，def语句...
2019-05-09 21:34:26
272
原创 scala数组
声明数组 语法格式 var ArrayName : Array[DataType] = new Array[DataType](length) 或 var ArrayName = new Array[DataType](length) 或 var ArrayName = Array("data1", "data2", "data2") 数组赋值 //根据下标赋值 var arr...
2019-05-09 15:44:50
671
原创 scala单例对象、伴生对象
scala单例对象 在 Scala 中，是没有 static 这个东西的，但是它也为我们提供了单例模式的实现方法，那就是使用关键字 object。 Scala 中使用单例模式时，除了定义的类之外，还要定义一个同名的 object 对象，它和类的区别是，object对象不能带参数。 import java.io._ class Position(val x :Int, val y: Int){ v...
2019-05-09 13:19:01
414
原创 spark的初步学习知识点
什么是SPARK Apache Spark is a fast and general for large-scala data processing Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎 。现在形成一个高速发展应用广泛的生态系统。 SPARK核心组件 spark包括四大组件：Spark Streaming(类似于Storm，进行流式计算，处理的是实时数据(流式数...
2019-05-07 13:41:32
816
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人