orisonchan的博客

 在Spark 2.0 Release中，官方提供了3种数据抽象结构供使用：RDD,DataFrame and DataSet。    对于新手来说，可能会对理解三种结构间的关系和决定使用不使用哪一种感到迷惑。本文会详细介绍区别。简要综述    在分开讨论前，来一个简述，三种结构产生顺序如下：RDD (Spark1.0) —> Dataframe(Spark1.3) —&gt...

真的只是个随手笔记。记录下一些操作过程。背景最近需要实现一些Spark逻辑计划和物理计划的优化，遂打算写一点简单的数据源来测试。突然想到了Oracle常见的scott/tiger里的数据。遂打算使用该数据。获得数据毕竟装Oracle是个大工程，没有必要为了做个测试单独安装一个Oracle，于是用Docker，这里推荐一下阿里的Docker Oracle镜像库：https://d...

1. 文章开始之前先附上一句SQL，使用tpc-ds的表结构，我们围绕这句SQL讲。SQL：SQL> selectavg(cs_ext_discount_amt)fromcatalog_sales, date_dimwhered_date between '1999-02-22'andcast('1999-05-22' as date)andd_date_sk ...

Spark层面Spark层面我们从dataframe.write.parquet("path")说起。In DataFrameDataset中的write()方法：/** * Interface for saving the content of the non-streaming Dataset out into external storage. * * @group...