littlely_ll的博客

今天写一个比较常用的数据转换操作——与spark之间的数据转换。ray中已经有读取和写入spark的接口，不过它只支持spark3.x，不支持spark2.x的版本，因此我根据源码修改了部分内容以适应spark2.x dataframe与ray dataset之间的转换。ray分布式计算框架可以读取许多类型的文件，比如。等，也可以从不同的系统中读取数据，比如。

应用spark streaming的时候，可以在spark UI页面监控spark streaming的运行，UI页面有一个Streaming选项卡，展示如下：里面有四个选项，分别是input rate,，scheduling delay，processing time和total delay，其中input rate下有一个该应用所使用的输入流的方法，这里是使用的kafkaUtil的dire...

spark streaming现在主要分为两个部分，一个是DStreams，另一个就是Structured Streaming，前一个是基于RDD进行编程，后一个是基于DataFrame或Dataset编程的。现在官方推荐的是使用Structured Streaming，因此可以根据需要自己选择使用哪一个。这里主要说明pyspark streaming连接Kafka的方式及解决无法使用group ...

1. spark sdf和pandas pdf相互转化一般spark sdf转化为pandas pdf使用sdf.toPandas(), pdf转化为sdf使用spark.createDataFrame(pdf)，但是直接转化中间的序列化和反序列化耗时很长，所以在执行转化的时候使用apache arrow进行加速pyarrow版本 >= 0.8.0spark-defaults.conf...

数据读取hadoopFileParameters:path – path to Hadoop fileinputFormatClass – fully qualified classname of Hadoop InputFormat (e.g. “org.apache.hadoop.mapred.TextInputFormat”)keyClass – fully qualified ...

class pyspark.ml.linalg.Vector方法toArray(): 把vector转换为numpy.ndarrayclass pyspark.ml.linalg.DenseVector(ar)v = Vectors.dense([1.0, 2.0])u = Vectors.dense([3.0, 4.0])#可以进行加减乘除v + u #DenseVector([4.0,

DecisionTreeRegressorclass pyspark.ml.regression.DecisionTreeRegressor(self, featuresCol="features", labelCol="label", predictionCol="prediction", maxDepth=5, maxBins=32, minInstancesPerNode=1, minInfo

BisectingKMeansclass pyspark.ml.clustering.BisectingKMeans(self, featuresCol="features", predictionCol="prediction", maxIter=20, seed=None, k=4, minDivisibleClusterSize=1.0)参数解释maxIter: 最大迭代次数K：聚类簇数m

LogisticRegressionclass pyspark.ml.classification.LogisticRegression(self, featuresCol="features", labelCol="label", predictionCol="prediction", maxIter=100, regParam=0.0, elasticNetParam=0.0, tol=1e-6

初始化StreamingContext创建SparkContext后要做的事情： 1. 通过创建DStreams定义输出源 2. 通过应用transform算子定义流计算，输出操作到Dstream 3. 用streamingContext.start()开始接受数据并进行处理 4. 用streamingContext.awaitTermination()等待处

centos安装好JAVA JDK，hadoop2.7，scala后，可以直接安装spark2了。安装spark还是比较简单的。首先是下载好spark(需要和Scala版本对应)，解压到一个目录中，然后在环境变量中添加spark的路径。另外，在spark路径下的conf文件下的spark-env.sh.template修改为spark-env.sh，并对其内容增加环境变量：export JRE_HO

import csvimport matplotlib.pyplot as pltfrom StringIO import StringIOfrom datetime import datetimefrom collections import namedtuplefrom operator import add, itemgetterfrom pyspark import SparkCo