土豆

前期准备（写在前面，以下配置信息均是linux服务器操作配置。）python连接时需要安装oracle客户端文件，pip安装cx_Oracle。pyspark需要配置jdbc信息。1.安装客户端以下两个安装命令，需要获取服务器的root权限或sudo权限rpm -ivh oracle-instantclient11.2-basic-11.2.0.4.0-1.x86_64.rpm （1）rpm -ivh oracle-instantclient11.2-devel-11.2.0.4.0-1

最近一直在用pyspark开发大数据项目，但每次报错都要重新提交spark-submit执行任务，效率实低，在网上搜索发现能够配置jupyter实现spark交互，测试了一下，真是相见恨晚！现有环境：系统：linux；集群：多结点大数据集群；整个过程的操纵步骤：下载anaconda——配置jupyter——配置环境信息！done。因为spark集群中自带的python是python2,所以为了方便，建议用python2。（不然每个结点都需要配置python，麻烦都一批）因为已经存在大数据集群，

用于增加排名信息,rank需求一：根据用户id进行排序，增加排名列。from pyspark.sql import Window#新增列名称：rownumberdf3 = df2.withColumn("rownumber",F.row_number().over(Window.orderBy("id")))需求二：根据不同用户类型，结合用户id 进行排序，增加列排名。#选择desc,...

创建空数据表；分组统计groupby；两dataframe关联合并；为数据增加排序列；数据条件标记。

代码：vol_union = vol_union.join(cons_data[['meter_id', 'cons_sort_code','tg_no','cons_id']],vol_union['ID'] == cons_data['meter_id'],how = 'left')报错：AnalysisException: u'Detected implicit cartesian p...

toDF方法df4 = df3.toDF(‘tg_id’,‘org_no’,‘data_date_day’)df3为原有数据表，df4为改过列名的df3。mapping 方法from pyspark.sql.functions import colmapping = dict(zip(['col_1', 'tg_id'], ['col_2', 'org_no'], ['col_3', '...

环境：windows+pycharm+pyspark错误一：OSError: [Errno 2] No such file or directoryTraceback (most recent call last): File "/tmp/pycharm_project_744/work/qiedian/data_preprocessing.py", line 28, in <mod...

目标，能在命令行设置读取文件的位置、写入文件的位置及文件名。读取和写入的位置都在hdfs中，文件类型是parquet文件。#-*- coding:utf-8 -*-from pyspark.sql import SparkSessionimport argparse#建立集群连接spark = SparkSession.builder.master("yarn-client").app...

空值处理（1）删除空值#删除所有包含空值的行df = df.na.drop()#删除‘excute_errormsg’列含有空值的行df = df.na.drop(subset='excute_errormsg')（2）空值填充#所有空值填充‘888’df = df.na.fill('888)#'excute_errormsg'列的空值填充‘888’df = df.na....

#-*- coding:utf-8 -*-import jsonfrom pyspark.sql import SparkSession#连接集群spark = SparkSession.builder.master(&quot;yarn-client&quot;).appName(&quot;test&quot;).getOrCreate()#读取数据，数据位置‘hdfs://bd01:8020/user/root/par...

pyspark连接hbase,并将spark-rdd转化为dataframe@TOC建立spark连接，获取rdd#-*- coding:utf-8 -*-import jsonfrom pyspark.sql import SparkSessionhost = '192.168.11.xxx'#table nametable = 'I_OCS_COLLECT'#建立spark...