Buevara的博客

无

spark读写ES

无

collect()把 dataframe格式转化为 Array[Row]格式以movieLens数据前7行位例userdata.show()部分数据展示：+------+-------+------+----------+|userId|movieId|rating| timestamp|+------+-------+------+----------+| 1| 2| 3.5|1112486027|| 1| 29| 3.5|111248467

iterrows(), iteritems(), itertuples()对dataframe进行遍历iterrows(): 将DataFrame迭代为(insex, Series)对。itertuples(): 将DataFrame迭代为元祖。iteritems(): 将DataFrame迭代为(列名, Series)对参考做梦当财神 的博客

def trans_dic_2_matrix(dic): return DataFrame(dic).T.fillna(0)dic = {"1": {"2":3}, "2": {"3":1}}dd = trans_dic_2_matrix(dic)dd.head()结果： 2 31 3.0 0.02 0.0 1.0dict的setdefault方法：参考：python 教程

https://www.cnblogs.com/mylittlecabin/p/11692363.htmlhttps://stackoverflow.com/questions/40763796/convert-date-from-string-to-date-format-in-dataframeshttps://www.nuomiphp.com/eplan/29850.html

利用 show tables in DBname like ‘TABLEname’ 语句var userid = "test"var datasetid1 = "dm_op_log"var datasetid2 = "bb"var s = spark.sql(s"show tables in $userid like '$datasetid1' ")s.show()println("@@@@", s.count())var s2 = spark.sql(s"show tables.

import mathdef scale(x): if x > 2: x = int(math.log(float(x))**2) return xdata_value['I5']=data_value['I5'].apply(scale)原始数据data_value.head(10)进行函数变换后：data_value.head(10)

转载自：https://www.it1352.com/1689965.htmlimport numpy as npimport pandas as pdarr = np.array( [[1,0,1,1,1,5], [0,0,0,0,1,3], [1,0,0,0,1,1], [1,0,0,1,1,1], [1,0,0,0,1,1], [1,1,0,0,1,1]] )df = pd.DataFrame( np.repeat(

我们经常使用spark时会对表合并import spark.implicits._import spark.implicits._var data1 = Seq( | ("1", "ming", "hlj"), | ("2", "tian", "jl"), | ("3", "wang", "ln"), | ("4", "qi", "bj"), | ("5", "sun", "tj") | ).toDF("useid", "name", "live") var data

spark的dataframe存储中都会调用write的mode方法：data.write.mode(“append”).saveAsTable(s"userid.{userid}.userid.{datasetid}")data.write.mode(SaveMode.Overwrite).parquet(hdfspath)但不同时候的参数是不同的先看一下源码：spark-v2.3.0： def mode(saveMode: SaveMode): DataFrameWriter[T]

之前已经在博客中介绍了spark的dataframe利用union 等一系列方法进行拼接，详情请见Spark中对Dataframe的union 、unionAll和 unionByName方法说明但是在那篇博客也提到，利用union的这些方法，必须保证两个dataframe必须列数一致(unionByName方法还需要所有列名必须一致)。那么如果如果dfA和dfB的列长度不一致，应该怎么去上下拼接呢？val data2 = Seq( | ("1", null, "hlj", null),

一直有个疑问，出现空值数据列，在计算时，是否会被计算?1. 空值出现在计算字段中给定某个DataFrame，其中包含空值：val data1 = Seq( | ("1", "ming", "hlj", null), | ("2", "tian", "jl", "1"), | ("3", "ming", "hg", "1"), | ("4", "tian", "bj", "1"), | ("5", "ming", "tj", "1") | ).toDF("useid", "name"

由于spark读取csv时，默认编码格式是utf-8，如果csv文件的格式是其他，需要加上编码格式的设定例：如果csv格式为GBKimport org.apache.spark.sql.SparkSessionval spark = SparkSession.builder().appName(“demo”).getOrCreate();如果用默认格式utf-8读取：var data = spark.read.option("header", false).option("delimiter",

利用sparksql对两张表进行join，报错：检查表中字段：发现两张表内都存在stuID。折腾了好久也没弄好，后来不甘心，将数据转为txt格式，没想到同样的代码***跑通了***。这可太amazing了，打开两个文档反复对比了一下。并没有什么不同，直到身边的大神让我查看一下文件的编码才发现端倪：## 预览文件head -n 1 xxx.txt | od -clinux 下的od命令可以查看 这篇博客结果显示：发现csv文件的第一行第一列开头比txt多了三个字符，原因就在这：再次

首先，必须保证列没有空值，如果有，则需要drop$colName 为 列名data = data.na.drop(s"$colName")输出格式为ArrayAnydata0.select(s"$cname").collect().map(_(0))变为String或Double需要定义函数 // 类型转换为String def ToString(s:Any):Strin...

方法一由于Spark中构造Dataframe 即使是数值类型的数据 也需要以String形式进行创建，var data = Seq( ("0.1","0"), ("0.15","0"), ("0.8","1"), ("1.0","1")).toDF("predict","label")+-------+-----+|predict|label|+-------+-----+|...

将DataFrame转化为RDD[Vector]，应用于KMeans聚类模型训练import org.apache.spark.mllib.linalg.Vectorsimport org.apache.spark.rdd.RDD import org.apache.spark.mllib.clustering.{KMeans, KMeansModel}import org.apac...

spark sql中单引号意味着要某个变量所代表的值如var q = 111spark.sql(s"select '$q' as t").show()+---+| t|+---+|111|+---+去掉单引号spark.sql(s"select $q as t").show()+---+| t|+---+|111|+---+两者在该情境下是...

1.spark DataFrame常规的采样方式——sample()由于scala中 对DataFrame 方式为 sample() 方法sample : 采样采样变换根据给定的随机种子，从RDD中随机地按指定比例选一部分记录，创建新的RDD。采样变换 在机器学习中可用于进行交叉验证。语法def sample(withReplacement: Boolean, fraction: Do...

1.Dataframe按某一行排序新加一列index (index不重复)import spark.implicits._import spark.implicits._var data2 = Seq( ("0", "2002", "196", "1", "bai"), ("1", "4004", "192", "2", "wang"), ("0", "7007", "95...

Scala版本import spark.implicits._var data1 = Seq( ("0", "2002", "196", "1", "bai"), ("1", "4004", "192", "2", "wang"), ("0", "7007", "95", "3", "wang"), ("0", "4004", "4", "4", "wang"), ("0...

1.利用Scala沟边import spark.implicits._var data1 = Seq( ("0", "2002", "196", "1", "bai"), ("1", "4004", "192", "2", "wang"), ("0", "7007", "95", "3", "wang"), ("0", "4004", "4", "4", "wang")...

Array 转 ArrayBuffer将Array转换成已经声明的类型为ArrayBuffer的成员变量，需要使用asInstanceOf进行强制转换val array = Array[String]("a", "b", "c")println(s"array=$array")val arrayToBuffer = array.toBuffer.asInstanceOf[ArrayBuff...

DataFrame使用抽取一列或几列import spark.implicits._var data1 = Seq( ("0", "ming", "tj","2019-09-06 17:15:15", "2002", "192.196", "win7", "bai"), ("1", "ming", "tj","2019-09-07 16:15:15", "4004", "192.19...

基本类型：类型Byte Short Int Long和Char被称为整数类型(integral type)，整数类型加上Float和Double被称为数类型(numeric type) NumericType。官方API说明文档:http://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/types/NumericType....

1.空值替换为其他值建df时的空值表示形式为:nullnullval df = Seq("a", null, "c", "b").toDF("col1")df.show()var df4 = df.na.fill(value="qqq",Array[String]("col1"))df4.show()df: org.apache.spark.sql.DataFrame = [co...

1.生成dataframe的两种方式由于Spark中构造Dataframe 即使是数值类型的数据 也需要以String形式进行创建，var data = Seq( ("0.1","0"), ("0.15","0"), ("0.8","1"), ("1.0","1")).toDF("predict","label")+-------+-----+|predict|label|+-...

重点：删除空值值所在行不考虑选择列的数据类型，而填充时一定要看好对应填充列的数据类型。删除import spark.implicits._var datafff = Seq( ("0", "ming", "tj","2019-09-06 17:15:15", "2002", "192.196", "win7", "bai"), ("0", null, "ln","2019-09-0...

运行Spark报错：Exception in thread “main” java.lang.UnsupportedOperationException: CSV data source does not support struct<type:tinyint,size:int,indices:array,values:array> data type. at查看多篇博客发现：因为是...

1.不修改，只是过滤掉含有null值的行。 这里是过滤掉key3,key5列中含有null的行scala> df.na.drop(Seq("key3","key5")).show+----+----+----+----+----+|key1|key2|key3|key4|key5|+----+----+----+----+----+| aaa| 1| 2| t1| ...

Spark 构建DataFrame将String改为Double由于Spark中构造Dataframe 即使是数值类型的数据 也需要以String形式进行创建，var data = Seq( ("0.1","0"), ("0.15","0"), ("0.8","1"), ("1.0","1")).toDF("predict","label")+-------+-----+|pre...

val x = 5println(x.getClass)结果是：class java.lang.Integer

方法说明：union: 两个df合并，但是不按列名进行合并，而是位置,列名以前表为准(a.union(b) 列名顺序以a为准)unionAll:同union方法unionByName:合并时按照列名进行合并，而不是位置举例：把 b表的id_num和CST_NO两列的值更改顺序 var a = Seq( ("1", "ke", "hb","2019-09-04 21...

import spark.implicits._var data_csv = Seq( ("ke,sun"), ("tian,sun")).toDF("CST_NO") +--------+| CST_NO|+--------+| ke,sun||tian,sun|+--------+将CST_NO 列var kkk = data_csv.select("...

在处理数据时NAN值是非常常见的，但是NaN值你真的了解吗？下面让楓尘君带大家了解一下这个神奇的NAN在csv表格中长这样：在python里展示为这样：我们创建这个值时是这样：import numpy as npnp.nan但是想判断是否是np.nan还真是有点难度：a=np.nanprint(a==np.nan)结果是Falseprint(a.equal(np.na...

今天遇到一个问题：pos_data = session_data.loc[(session_data['CST_NO'].isin(pos_list))&(session_data['BIZ_CODE']=='TRANSFER')]报错：查阅资料后发现，是isin的左右类型不一致，都转化为str则不会出现这种问题：改为：添加 astype(str)pos_data = ses...

试了网上的好几种读取csv文件的方法，总会有些错误，用这个方法就解决了，我的环境是spark 2.1.1 val data = spark.read.format("csv").option("header", "true").load("file:///home/xin/lb/AAAA.csv")data.show(10)在文件路径下加"file://” 如果不加，程序会自动搜索hd...

我们经常使用spark时会对表合并val data1 = Seq( | ("1", "ming", "hlj"), | ("2", "tian", "jl"), | ("3", "wang", "ln"), | ("4", "qi", "bj"), | ("5", "sun", "tj") | ).toDF("useid", "name", "live") val ...