mid_python的博客

#使用文本文件做数据源sc = SparkContext.getOrCreate(conf)rows = sc.textFile("file:///Users/chuzhengkai/Desktop/test.txt")print(rows.first())print(rows.take(2))print(rows.count())print(rows.top(2))sc.stop(...

# 航班数据分析实战# 1, 查看航班信息Schema# 2, 提取关注字段, 做航班信息简明情况报表# 3, 指定日期, 查询航班信息简报# 4, 分组查询, 按航班号分组, 查询延迟次数# 5, 分组查询, 按目的地机场分组, 查询延迟次数# 6, 聚合查询, 查询某天某机场到达航班总数量# 7, 聚合查询, 查询某天某机场到达航班平均延迟时间# 8, 分组聚合, 查询某机场...

#准备 pyspark 环境from pyspark import SparkContext,SparkConffrom pyspark.sql import SparkSession,Rowfrom pyspark.sql import functions as func#创建应用程序实例和会话spark = SparkSession.builder\ .maste...

数据分析之数据整理1, 数据表合并与空值处理2, 重复值与异常值处理3, 增加与修改列4, 数据采样与描述性统计#准备 pyspark 环境from pyspark import SparkContext,SparkConffrom pyspark.sql import SparkSession,Row#创建应用程序实例和会话spark = SparkSession.build...