weimingyu945的专栏

反向代理的配置在服务器中做如下配置:server { listen 80; server_name test.aldwx.com;

Spark SQL是Spark框架的重要组成部分， 主要用于结构化数据处理和对Spark数据执行类SQL的查询。DataFrame是一个分布式的，按照命名列的形式组织的数据集合。 一张SQL数据表可以映射为一个DataFrame对象，DataFrame是Spark SQL中的主要数据结构。SqlContext实例是DataFrame和Spark SQL的操作入口， pyspark交

spark-1.6.0 [原文地址]Spark SQL, DataFrames 以及 Datasets 编程指南概要Spark SQL是Spark中处理结构化数据的模块。与基础的Spark RDD API不同，Spark SQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。在Spark内部，Spark SQL会能够用于做优化的信息比RDD API更多一些。Spa

社区在Spark 1.3中开始引入了DataFrames，使得Apache Spark更加容易被使用。受R和Python中的data frames激发，Spark中的DataFrames提供了一些API，这些API在外部看起来像是操作单机的数据一样，而数据科学家对这些API非常地熟悉。统计是日常数据科学的一个重要组成部分。在即将发布的Spark 1.4中改进支持统计函数和数学函数（statis

摘要：DataFrame API的引入一改RDD API高冷的FP姿态，令Spark变得更加平易近人。外部数据源API体现出的则是兼容并蓄，Spark SQL多元一体的结构化数据处理能力正在逐渐释放。关于作者：连城，Databricks工程师，Spark committer，Spark SQL主要开发者之一。在4月18日召开的 2015 Spark技术峰会 上，连城将做名为“四两拨千斤

基本操作：运行时获取spark版本号（以spark 2.0.0为例）：sparksn = SparkSession.builder.appName("PythonSQL").getOrCreate()print sparksn.version创建和转换格式：Pandas和Spark的

目录概述 SQLDataFramesDatasetsGetting Started Starting Point：SQLContextDataFrame 创建 DataFramesDataFrame操作执行SQL查询Dataset 创建Datasets与RDDs交互操作使用Reflection推断Schema程序自动指定Schema概

写在前面本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解 ＋ 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的细节就不会记录了，而且文中有时候会出现英文原版文档，只要不影响理解，都不翻译了。若想深入了解，最好阅读参考文章和官方文档。其次，本系列是基于目前最新的 spar