VictorHuang的专栏

SPARK官方实例，两种方法实现随机森林

collect， collectAsListcountfirstheadshowtakecacheColumnsdtypesexplainisLocalprintSchemaregisterTempTableschematoDFaggapplyasdistinctexceptexplodefiltergroupByintersectjoinlimit

Spark快如闪电的集群计算 是快速和通用的大规模数据处理技术【speed】 执行mr作业程序在内存比hadoop快100倍，磁盘上快10倍 spark有着DAG（有向无环图）执行引擎，支持离散数据流和内存计算【易于使用】 多种语言编写 Java scala python R【Generality】 合成SQL，流计算，复杂分析spark有自己的集群计算技术，扩展了hadoop mr模型

RDD （resilient distributed dataset）弹性分布式数据集One stack to rule them all（一个技术堆栈容纳各种数据处理技术） 包括的大数据计算模型：MapReduce、Streaming、SQL、Machine Learning、graph Processing对应的Spark四大子框架：Spark Streaming,Spark SQL,Mlli

SPARK模型实例，基于HiveSQL，实现随机森林模型的训练和预测