stan1111的博客

select：处理列或表达式selectExor：处理字符串表达式数据集格式如下：有三个字段，目的国家、出发国家、count一.select从df中选择列的方式，1.DataFrame.select(“列名”)，参数是列名的字符串格式。想要选出多列，可以用相同方式添加更多列名小技巧：传入"*"选择所有列。2.通过函数选择列这些函数有DataFrame.col(“列名”)、col(“列名”)、column(“列名”)、expr（“列名”）；以及两种scala特有的语言支持，$“列名

一.结构化API–DataFrameSpark结构化API是处理各种数据类型的工具，能处理非结构化的日志文件、半结构化的csv文件、高度结构化的Parquet文件。包括以下三种核心分布式集合类型API：DatasetDataFrameSQL表和视图DataFrameDataFrame由记录(record)组成，record是Row类型。一个record由多列组成，这里可以类比python中的DataFrame。创建DataFrame1.从Dataset创建这里range函数会返回一个D

一、构建过程中遇到的一些问题用global libraries的scala就会出现如下错误。（我的改动是把global libraries里面的scala的sdk删除，在project setting下的libraries里面添加了spark里的jars和本机安装的2.10.7版本的Scala。这样按照下面的配置，可以成功执行spark项目）我在idea官网上面查到的信息：In IntelliJ IDEA, libraries can be defined at three levels:.

object merge { def Merge_Sort(arr: Array[Int],l:Int,r:Int): Unit = { if (l<r){ val mid = (l+r)/2 //使用这种计算mid时，必须传mid给左边，传mid+1给右边；其它方式会有错误，比如mid-1给左边，mid给右边这种方式 Merge_Sort(arr,l,mid) Merge_Sort(arr,mid+1,r) merge(ar

##今天在看闭包的时候，书上说只要能找到名字为more的变量，f这个函数值(对象)就能正常工作。可是我在接下来的语句中定义了一个可变的more之后，f这个函数值还是只能读入之前的 val more这个自由变量。#但是这里为什么没有读到最新的more，我还没有查到这是为什么#这里我重新定义val more为2，可是执行f函数值之后，里面的more看样子还是1没有变化。。。我将more1定义为可变的之后就能正常改变more1的值，并得到想要的结果...

感觉自己上面的实现应该是偏函数式的写法但不完全是。#row_print下面那个for循环里面写了println来隔行打印。本来我不想要花括号的，就想一句话实现。想不出在哪里加点什么才能把println这句去掉，使其变得更加精简。感觉应该是能在for的圆括号里面加点什么实现隔行打印，等我想出来再来加上...

import java.io.Fileobject filter { def main(args: Array[String]): Unit = { val filesHere = (new File("xxx//xxx//test")).listFiles() for ( file <- filesHere if !(file.isFile) if file.getName.endsWith(".txt") )println(fil

scala实现冒泡排序和选择排序class sort{ def BubbleSort(arr: Array[Int]): Unit = { for (i <- 0 until arr.length-1) //总共运行n-1趟 { for (j <- 0 until arr.length-1-i) //一趟的比较次数,每轮减少一次 { if(arr(j+1)<arr(j)) {

这几天把控制结构和scala包含的数据结构快读一遍和慢读一遍，准备把几个排序算法（快速、冒泡、选择）用scala实现一遍；熟悉一下Scala的语法，把没看懂的地方实践验证一下弄懂

因为以后实验室做项目需要使用spark，所以先学习scala这门语言。在配置的时候java jdk的版本和scala的版本需要对应。这个在scala的官网上面有说明，个人建议从适配的最低版本开始尝试，我自己才开始使用的是scala-2.10.7+java1.9，因为Java是很久之前安装的就懒得去换了。我试了好几个scala的版本才运行成功。。。...