ytp552200ytp的博客

Spark 解析嵌套的 JSON 文件

使用pycharm工具 进行数据开发任务时，由于使用远程服务器进行开发的，代码在远程服务器上执行，导入远程服务器代码时，在本地数据脚本显示标准为红色，import XXX 显示红色问题。

在Liunx 离线安装 Numpy 时候，python setup.py install用gcc编译出现：错误：只允许在 C99 模式下使用‘for’循环初始化声明然后执行命令CC='gcc -std=c99' python setup.pyinstall

一、概述spark 有三大引擎，spark core、sparkSQL、sparkStreaming，spark core 的关键抽象是 SparkContext、RDD；SparkSQL 的关键抽象是 SparkSession、DataFrame；sparkStreaming 的关键抽象是 StreamingContext、DStreamSparkSession是 spark2.0 引入的概念，主要用在 sparkSQL 中，当然也可以用在其他场合，他可以代替 SparkContex.

SparkSession是DataSet和DataFrame编写Spark程序的入口SparkSession的功能：创建DataFrame 以关系型数据库中表的形式生成DataFrame，之后便可以执行SQL语句，适合小数据量的操作 读取.parquet格式的文件，得到DataFrame创建SparkSession对象：>>> spark = SparkSession.builder \ .master("local") \ ...

DataFrame它不是spark sql提出来的，而是早期在R、Pandas语言就已经有了的DataSet： A DataSet is a distributed collection of data. (分布式的数据集)DataFrame：A DataFrame is a DataSet organized into named columns.以列（列名，列类型，列值）的形式构成的分布式的数据集，按照列赋予不同的名称studentid:intname:stringcity:st.

目录Spark创建DataFrame的不同方式1. Create Spark DataFrame from RDD2. 从List和Seq集合中创建Spark DataFrame3. 从CSV文件创建Spark DataFrame4. 从text文件创建5. 从JSON文件创建6. 从XML文件创建9. 从HBase创建DataFrameSpark创建DataFrame的不同方式本文介绍了使用Scala示例在Spark中创建DataFrame(createDat.

一、大数据简史,从hadoop到Spark1.hadoop的出现：（1）问题：1990年，电商爆发以及机器产生了大量数据，单一的系统无法承担（2）办法：为了解决（1）的问题许多公司，尤其是大公司领导了普通硬件集群的水平扩展（3）执行：hadoop应运而生2.spark的出现：（1）hadoop面临问题： - 硬件瓶颈：多年来，内存技术突飞猛进，而硬盘技术没有太大的变化。hadoop主要运用的是硬盘，没有利用好内存技术。 - 编程困难，hadoop的MapReduce编