图解大数据 | Spark机器学习(下)—建模与超参调优

【图解大数据技术】Spark Spark与MapReduce一样,也是大数据计算框架。Spark相比MapReduce拥有更快的执行速度和更低的编程复杂度。Spark Core:封装了Spark的基本功能,比如RDD、任务调度等。Spark SQL:Spark SQL可以处理结构化数据,当我们遇到结构化数据的计算时,可以使用Spark SQL,它允许我们把数据集映射为表结构,然后像操作关系型数据库的库表一样操作Spark SQL的表。 阅读详情

作者:韩信子@ShowMeAI
教程地址:http://www.showmeai.tech/tutorials/84
本文地址:http://www.showmeai.tech/article-detail/181
声明:版权所有,转载请联系平台与作者并注明出处

收藏ShowMeAI查看更多精彩内容


1.分类、回归与聚类模型

1)分类算法概述

分类是一种重要的机器学习和数据挖掘技术。分类的目的是根据数据集的特点构造一个分类函数或分类模型(也常常称作分类器),该模型能把未知类别的样本映射到给定类别中的一种技术。

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 分类算法概述; 15-1

分类的目的就是分析输入数据,通过在训练集中的数据表现出来的特性,为每一个类找到一种准确的描述或者模型,采用该种方法(模型)将隐含函数表示出来。

构造分类模型的过程一般分为训练和测试两个阶段。

  • 在构造模型之前,将数据集随机地分为训练数据集和测试数据集。
  • 先使用训练数据集来构造分类模型,然后使用测试数据集来评估模型的分类准确率。
  • 如果认为模型的准确率可以接受,就可以用该模型对其它数据元组进分类。

一般来说,测试阶段的代价远低于训练阶段。

(1)逻辑回归

逻辑回归(logistic regression)是统计学习中的经典分类方法,属于对数线性模型。logistic回归的因变量可以是二分类的,也可以是多分类的。

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 分类算法; 逻辑斯蒂回归; 15-2

from pyspark.ml.classification import LogisticRegression
from pyspark.sql import SparkSession

spark = SparkSession \
    .builder \
    .appName("LogisticRegressionSummary") \
    .getOrCreate()

# 加载数据
training = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")

lr = LogisticRegression(maxIter=10, regParam=0.3, elasticNetParam=0.8)

# 拟合模型
lrModel = lr.fit(training)

# 模型信息总结与输出
trainingSummary = lrModel.summary

# 输出每一轮的损失函数值
objectiveHistory = trainingSummary.objectiveHistory
print("objectiveHistory:")
for objective in objectiveHistory:
    print(objective)

# ROC曲线
trainingSummary.roc.show()
print("areaUnderROC: " + str(trainingSummary.areaUnderROC))

spark.stop()

(2)支持向量机SVM分类器

支持向量机SVM是一种二分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器。支持向量机学习方法包含3种模型:线性可分支持向量机、线性支持向量机及非线性支持向量机。

  • 当训练数据线性可分时,通过硬间隔最大化,学习一个线性的分类器,即线性可分支持向量机;
  • 当训练数据近似线性可分时,通过软间隔最大化,也学习一个线性的分类器,即线性支持向量机;
  • 当训练数据线性不可分时,通过使用核技巧及软间隔最大化,学习非线性支持向量机。

线性支持向量机支持L1和L2的正则化变型。

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 分类算法; 支持向量机SVM分类器; 15-3

from pyspark.ml.classification import LinearSVC

# Load training data
training = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")

lsvc = LinearSVC(maxIter=10, regParam=0.1)

# Fit the model
lsvcModel = lsvc.fit(training)

# Print the coefficients and intercept for linear SVC
print("Coefficients: " + str(lsvcModel.coefficients))
print("Intercept: " + str(lsvcModel.intercept))

(3)决策树分类器

决策树(decision tree)是一种基本的分类与回归方法,这里主要介绍用于分类的决策树。决策树模式呈树形结构,其中每个内部节点表示一个属性上的测试,每个分支代表一个测试输出,每个叶节点代表一种类别。

学习时利用训练数据,根据损失函数最小化的原则建立决策树模型;预测时,对新的数据,利用决策树模型进行分类。

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 分类算法; 决策树分类器; 15-4

from pyspark.ml import Pipeline
from pyspark.ml.classification import DecisionTreeClassifier
from pyspark.ml.feature import StringIndexer, VectorIndexer
from pyspark.ml.evaluation import MulticlassClassificationEvaluator

# Load the data stored in LIBSVM format as a DataFrame.
data = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")

# Index labels, adding metadata to the label column.
# Fit on whole dataset to include all labels in index.
labelIndexer = StringIndexer(inputCol="label", outputCol="indexedLabel").fit(data)
# Automatically identify categorical features, and index them.
# We specify maxCategories so features with > 4 distinct values are treated as continuous.
featureIndexer =\
    VectorIndexer(inputCol="features", outputCol="indexedFeatures", maxCategories=4).fit(data)

# Split the data into training and test sets (30% held out for testing)
(trainingData, testData) = data.randomSplit([0.7, 0.3])

# Train a DecisionTree model.
dt = DecisionTreeClassifier(labelCol="indexedLabel", featuresCol="indexedFeatures")

# Chain indexers and tree in a Pipeline
pipeline = Pipeline(stages=[labelIndexer, featureIndexer, dt])

# Train model.  This also runs the indexers.
model = pipeline.fit(trainingData)

# Make predictions.
predictions = model.transform(testData)

# Select example rows to display.
predictions.select("prediction", "indexedLabel", "features").show(5)

# Select (prediction, true label) and compute test error
evaluator = MulticlassClassificationEvaluator(
    labelCol="indexedLabel", predictionCol="prediction", metricName="accuracy")
accuracy = evaluator.evaluate(predictions)
print("Test Error = %g " % (1.0 - accuracy))

treeModel = model.stages[2]
# summary only
print(treeModel)

2)回归算法概述

回归也是一种重要的机器学习和数据挖掘技术。回归的目的是根据数据集的特点构造一个映射函数或模型,该模型能根据未知样本的输入得到连续值的输出。

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 回归算法概述; 15-5

(1)线性回归

线性回归是利用数理统计中回归分析,来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法,运用十分广泛。其表达形式为 y = w x + e y = wx+e y=wx+e, e e e 为误差服从均值为 0 0 0 的正态分布。

  • 如果回归分析中,只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。

  • 如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 回归算法; 线性回归; 15-6

from pyspark.ml.regression import LinearRegression

# Load training data
training = spark.read.format("libsvm")\
    .load("data/mllib/sample_linear_regression_data.txt")

lr = LinearRegression(maxIter=10, regParam=0.3, elasticNetParam=0.8)

# Fit the model
lrModel = lr.fit(training)

# Print the coefficients and intercept for linear regression
print("Coefficients: %s" % str(lrModel.coefficients))
print("Intercept: %s" % str(lrModel.intercept))

# Summarize the model over the training set and print out some metrics
trainingSummary = lrModel.summary
print("numIterations: %d" % trainingSummary.totalIterations)
print("objectiveHistory: %s" % str(trainingSummary.objectiveHistory))
trainingSummary.residuals.show()
print("RMSE: %f" % trainingSummary.rootMeanSquaredError)
print("r2: %f" % trainingSummary.r2)

(2)决策树回归

决策树模型既可以求解分类问题(对应的就是 classification tree),也即对应的目标值是类别型数据,也可以应用于回归预测问题的求解(regression tree),其输出值则可以是连续的实数值。

根据从业年限和表现,预估棒球运动员的工资。如图,有1987个数据样本,包含322个棒球运动员。红黄表示高收入,蓝绿表示低收入。横坐标是年限,纵坐标是表现。

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 回归算法; 决策树回归; 15-7

from pyspark.ml import Pipeline
from pyspark.ml.regression import DecisionTreeRegressor
from pyspark.ml.feature import VectorIndexer
from pyspark.ml.evaluation import RegressionEvaluator
from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .appName("DecisionTreeRegressionExample")\
    .getOrCreate()

# 加载数据
data = spark.read.format("libsvm").load("data/mllib/sample_libsvm_data.txt")

# Automatically identify categorical features, and index them.
# We specify maxCategories so features with > 4 distinct values are treated as continuous.
featureIndexer =\
    VectorIndexer(inputCol="features", outputCol="indexedFeatures", maxCategories=4).fit(data)

# Split the data into training and test sets (30% held out for testing)
(trainingData, testData) = data.randomSplit([0.7, 0.3])

# Train a DecisionTree model.
dt = DecisionTreeRegressor(featuresCol="indexedFeatures")

# Chain indexer and tree in a Pipeline
pipeline = Pipeline(stages=[featureIndexer, dt])

# Train model.  This also runs the indexer.
model = pipeline.fit(trainingData)

# Make predictions.
predictions = model.transform(testData)

# Select example rows to display.
predictions.select("prediction", "label", "features").show(5)

# Select (prediction, true label) and compute test error
evaluator = RegressionEvaluator(
    labelCol="label", predictionCol="prediction", metricName="rmse")
rmse = evaluator.evaluate(predictions)
print("Root Mean Squared Error (RMSE) on test data = %g" % rmse)

treeModel = model.stages[1]
# summary only
print(treeModel)

spark.stop()

3)无监督学习概述

利用无标签的数据学习数据的分布或数据与数据之间的关系被称为无监督学习。

  • 有监督学习和无监督学习的最大区别在于数据是否有标签
  • 无监督学习最常应用的场景是聚类(clustering)和降维(Dimension Reduction)

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 无监督学习概述; 15-8

(1)聚类算法

聚类(Clustering) 是机器学习中一类重要的方法。其主要思想使用样本的不同特征属性,根据某一给定的相似度度量方式(如欧式距离)找到相似的样本,并根据距离将样本划分成不同的组。聚类属于典型的无监督学习(Unsupervised Learning) 方法。

与监督学习(如分类器)相比,无监督学习的训练集没有人为标注的结果。在非监督式学习中,数据并不被特别标识,学习模型是为了推断出数据的一些内在结构。

Spark 的 MLlib 库提供了许多可用的聚类方法的实现,如 K-Means、高斯混合模型、Power Iteration Clustering(PIC)、隐狄利克雷分布(LDA) 以及 K-Means 方法的变种 二分 K-Means(Bisecting K-Means) 和 流式 K-Means(Streaming K-Means)等。

(2)K-Means聚类

K-Means 是一个迭代求解的聚类算法,其属于划分(Partitioning) 型的聚类方法,即首先创建 K K K 个划分,然后迭代地将样本从一个划分转移到另一个划分来改善最终聚类的质量,K-Means 的过程大致如下:

  • 1.根据给定的k值,选取 K K K 个样本点作为初始划分中心;
  • 2.计算所有样本点到每一个划分中心的距离,并将所有样本点划分到距离最近的划分中心;
  • 3.计算每个划分中样本点的平均值,将其作为新的中心;
  • 循环进行 2   s i m 3 2 \ sim 3 2 sim3 步直至达到最大迭代次数,或划分中心的变化小于某一预定义阈值

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 无监督学习; K-Means聚类; 15-9

spark = SparkSession\
        .builder\
        .appName("KMeansExample")\
        .getOrCreate()

dataset = spark.read.format("libsvm").load("data/mllib/sample_kmeans_data.txt")

# 训练K-means聚类模型
kmeans = KMeans().setK(2).setSeed(1)
model = kmeans.fit(dataset)

# 预测(即分配聚类中心)
predictions = model.transform(dataset)

# 根据Silhouette得分评估(pyspark2.2里新加)
evaluator = ClusteringEvaluator()
silhouette = evaluator.evaluate(predictions)
print("Silhouette with squared euclidean distance = " + str(silhouette))

# 输出预测结果
print("predicted Center: ")
for center in predictions[['prediction']].collect():
    print(center.asDict())

# 聚类中心
centers = model.clusterCenters()
print("Cluster Centers: ")
for center in centers:
    print(center)

spark.stop()

(3)降维与PCA

主成分分析(PCA)是一种对数据进行旋转变换的统计学方法,其本质是在线性空间中进行一个基变换,使得变换后的数据投影在一组新的“坐标轴”上的方差最大化,随后,裁剪掉变换后方差很小的“坐标轴”,剩下的新“坐标轴”即被称为主成分(Principal Component) ,它们可以在一个较低维度的子空间中尽可能地表示原有数据的性质。

主成分分析被广泛应用在各种统计学、机器学习问题中,是最常见的降维方法之一。

Spark机器学习; 建模与超参调优; 分类、回归与聚类模型; 无监督学习; 降维与PCA; 15-10

spark = SparkSession\
        .builder\
        .appName("PCAExample")\
        .getOrCreate()

# 构建一份fake data
data = [(Vectors.sparse(5, [(1, 1.0), (3, 7.0)]),),
        (Vectors.dense([2.0, 0.0, 3.0, 4.0, 5.0]),),
        (Vectors.dense([4.0, 0.0, 0.0, 6.0, 7.0]),)]
df = spark.createDataFrame(data, ["features"])

# PCA降维
pca = PCA(k=3, inputCol="features", outputCol="pcaFeatures")
model = pca.fit(df)

result = model.transform(df).select("pcaFeatures")
result.show(truncate=False)

spark.stop()

2.超参调优:数据切分与网格搜索

1)机器学习流程与超参数调优

在机器学习中,模型选择是非常重要的任务。

  • 使用数据找到解决具体问题的最佳模型和参数,这个过程也叫做调试(Tuning)
  • 调试可以在独立的估计器中完成(如逻辑回归),也可以在工作流(包含多样算法、特征工程等)中完成
  • 用户应该一次性调优整个工作流,而不是独立地调整 PipeLine 中的每个组成部分

Spark机器学习; 建模与超参调优; 超参调优; 数据切分与网格搜索; 15-11

2)交叉验证和训练验证切分

MLlib支持交叉验证 Cross Validator 和训练验证分割 Train Validation Split 两个模型选择工具。使用这些工具要求包含:

  • 估计器:待调试的算法或管线。
  • 一系列参数表(ParamMaps):可选参数,也叫做“参数网格”搜索空间。
  • 评估器:评估模型拟合程度的准则或方法。

Spark机器学习; 建模与超参调优; 超参调优; 数据切分与网格搜索; 15-12

交叉验证CrossValidato将数据集切分成k折叠数据集合,并被分别用于训练和测试。例如:

  • k = 3 k=3 k=3 时,CrossValidator会生成 3 3 3 个 (训练数据, 测试数据) 对,每一个数据对的训练数据占 2 / 3 2/3 2/3,测试数据占 1 / 3 1/3 1/3。
  • 为了评估一个 ParamMap,CrossValidator 会计算这 3 3 3 个不同的 (训练, 测试) 数据集对在 Estimator 拟合出的模型上的平均评估指标。
  • 在找出最好的 ParamMap后,CrossValidator 会使用这个 ParamMap 和整个的数据集来重新拟合 Estimator。

也就是说,通过交叉验证找到最佳的 ParamMap,利用此 ParamMap 在整个训练集上可以训练(fit)出一个泛化能力强,误差相对小的的最佳模型。

交叉验证的代价比较高昂,为此 Spark 也为超参数调优提供了训练-验证切分 TrainValidationSplit。

  • TrainValidationSplit 创建单一的 (训练, 测试) 数据集对。
  • 它使用 trainRatio 参数将数据集切分成两部分。例如,当设置 t r a i n R a t i o = 0.75 trainRatio=0.75 trainRatio=0.75 时,TrainValidationSplit 将会将数据切分 75 % 75\% 75% 作为数据集, 25 % 25\% 25% 作为验证集,来生成训练、测试集对,并最终使用最好的 ParamMap 和完整的数据集来拟合评估器。

相对于 CrossValidator 对每一个参数进行 K K K 次评估,TrainValidationSplit 只对每个参数组合评估 1 1 1 次

  • 所以评估代价较低
  • 但是,当训练数据集不够大的时候其结果相对不够可信
from pyspark.ml import Pipeline
from pyspark.ml.classification import LogisticRegression
from pyspark.ml.evaluation import BinaryClassificationEvaluator
from pyspark.ml.feature import HashingTF, Tokenizer
from pyspark.ml.tuning import CrossValidator, ParamGridBuilder
from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .appName("CrossValidatorExample")\
    .getOrCreate()

# $example on$
# Prepare training documents, which are labeled.
training = spark.createDataFrame([
    (0, "a b c d e spark", 1.0),
    (1, "b d", 0.0),
    (2, "spark f g h", 1.0),
    (3, "hadoop mapreduce", 0.0),
    (4, "b spark who", 1.0),
    (5, "g d a y", 0.0),
    (6, "spark fly", 1.0),
    (7, "was mapreduce", 0.0),
    (8, "e spark program", 1.0),
    (9, "a e c l", 0.0),
    (10, "spark compile", 1.0),
    (11, "hadoop software", 0.0)
], ["id", "text", "label"])

# Configure an ML pipeline, which consists of tree stages: tokenizer, hashingTF, and lr.
tokenizer = Tokenizer(inputCol="text", outputCol="words")
hashingTF = HashingTF(inputCol=tokenizer.getOutputCol(), outputCol="features")
lr = LogisticRegression(maxIter=10)
pipeline = Pipeline(stages=[tokenizer, hashingTF, lr])

# We now treat the Pipeline as an Estimator, wrapping it in a CrossValidator instance.
# This will allow us to jointly choose parameters for all Pipeline stages.
# A CrossValidator requires an Estimator, a set of Estimator ParamMaps, and an Evaluator.
# We use a ParamGridBuilder to construct a grid of parameters to search over.
# With 3 values for hashingTF.numFeatures and 2 values for lr.regParam,
# this grid will have 3 x 2 = 6 parameter settings for CrossValidator to choose from.
paramGrid = ParamGridBuilder() \
    .addGrid(hashingTF.numFeatures, [10, 100, 1000]) \
    .addGrid(lr.regParam, [0.1, 0.01]) \
    .build()

crossval = CrossValidator(estimator=pipeline,
                          estimatorParamMaps=paramGrid,
                          evaluator=BinaryClassificationEvaluator(),
                          numFolds=2)  # use 3+ folds in practice

# Run cross-validation, and choose the best set of parameters.
cvModel = crossval.fit(training)

# Prepare test documents, which are unlabeled.
test = spark.createDataFrame([
    (4, "spark i j k"),
    (5, "l m n"),
    (6, "mapreduce spark"),
    (7, "apache hadoop")
], ["id", "text"])

# Make predictions on test documents. cvModel uses the best model found (lrModel).
prediction = cvModel.transform(test)
selected = prediction.select("id", "text", "probability", "prediction")
for row in selected.collect():
    print(row)

spark.stop()

3.参考资料

【大数据技术与处理】推荐阅读

ShowMeAI 系列教程推荐

图解大数据技术:从入门到精通系列教程 本篇内容是ShowMeAI组织的「图解大数据处理与开发」系列教程入口,本教程以大数据技术为根基,给大家讲解大数据开发与数据处理分析的相关知识与技能,并配以相关的实战案例帮助大家学习理解。... 阅读详情

相关推荐

图解大数据 | 流式数据处理-Spark Streaming

Spark Streaming是Spark核心API的一个扩展,可以实现实时数据的可拓展,高吞吐量。本文讲解Spark Streaming的架构、作业提交和工作原理,以及DStream的创建、转换和Graph,并通过案例代码展示应用的细节。

ShowMeAI研究中心 1万+

【工程应用】推荐模型离线训练之Spark MLlib

分布式机器学习训练有三个主要的方案,分别是Spark MLlib,Parameter Server和TensorFlow,倒不是说他们是唯三可供选择的平台,而是因为他们分别代表着三种主流的解决分布式训练方法。 虽然受到了诸如Flink等后起之秀的挑战,但Spark仍是当之无愧的业界最主流的计算平台。而且为了照顾数据处理和模型训练平台的一致性,也有大量公司采用Spark原生的机器学习平台MLlib进行模型训练。选择Spark MLlib作为机器学习分布式训练平台的第一站,不仅因为Spark是流行的,更是因为S

qq_36643449的博客 928

使用sparkR和sparklyr进行大数据建模案例文档

使用sparkR和sparklyr进行大数据建模案例文档,其中包括了对飞机航班、出租车等数据的建模分析与可视化,具有非常好的参考意义。数据和源码可以通过文档中的链接很方便的下载。

Spark学习之路——8.Spark MLlib

MLlib的官网文档: http://spark.apache.org/docs/latest/ml-guide.html 本节主要内容: 一、MLlib简述 二、基本数据类型 三、汇总统计 四、实例应用K-means算法 一、MLlib简述: 1.MLlib是什么? MLlib是Spark的机器学习(ML)库。它的目标是让实用的机器学习变得可扩展和容易。在高层次上,它提供以下工...

Nelson_hehe的博客 1352

本体研究综述(转)

(这篇文章是从http://imarine.blog.163.com/中转载过来的,个人觉得对本体的介绍比较全面!)本体综述本体作为一种能在语义和知识层次上描述领域概念的建模工具,其目标是捕获相关领域的知识,确定该领域内共同认可的词汇,通过概念之间的关系来描述概念的语义,提供对该领域知识的共同理解。语义Web(the Semantic Web)是在本体理论基础之上对现有Web所进行的扩展[

zhenshideni611的专栏 1839

【ORB-SLAM3】使用安卓手机的摄像头运行ORB3

使用安卓手机的摄像头运行ORB-SLAM3单目

caiqidong321的博客 4999

Spark排序算法系列之(MLLib、ML)GBTs使用方式介绍(模型训练、保存、加载、预测)

前言 【Spark排序算法系列】主要介绍的是目前推荐系统或者广告点击方面用的比较广的几种算法,和他们在Spark中的应用实现,本篇文章主要介绍GBDT算法,本系列还包括(持续更新): Spark排序算法系列之LR(逻辑回归) Spark排序算法系列之模型融合(GBDT+LR) Spark排序算法系列之XGBoost Spark排序算法系列之FTRL(Follo...

Thinkgamer博客 4307

TI 实时操作系统SYS/BIOS使用总结

1:概述: SYS/BIOS 是一个可扩展的实时的操作系统。具有非常快速的响应时间(在中断和任务切换时达到较短的延迟),响应时间的确定性,强壮的抢占系统,优化的内存分配和堆栈管理(尽量少的消耗和碎片)。能够实现系统的模块化并可裁剪。 最大的特点就是:实时。 2:XDCtools: XDCtools 是SYS/BIOS引用的一种实时的软件组件技术(RTSC),它包括一些有用的工具,标准的AP

带头奋青的博客 5万+

机器学习实践:Spark MLlib库介绍与使用-3

机器学习实践:Spark MLlib库介绍与使用 1、实验描述 MLlib ( Machine Learning Library )是 Spark 的一个机器学习库。它能够较容易地解决一些实际的大规模机器学习问题。本实验旨在学习 Spark 的机器学习库—— MLlib 的相关知识,了解 MLlib 与 ML 之间的区别和联系,掌握 MLlib 中的几个基本数据类型 实验时长:90分钟 主要步骤: 学习Mllib的基本数据类型 学习Mllib的基本算法库 利用Mllib算法库中的协同

奔腾游子 6225

GLMM(广义线性混合模型)原理以及分析步骤

广义线性混合模型(GLMM)是生态与进化研究中处理非正态数据的定制化工具,能同时分析固定效应和随机效应。它通过链接函数连接响应变量与预测因子,支持二项分布、泊松分布等非正态数据。研究流程包括:明确分析目标(固定效应影响与随机效应方差)、选择合适变量与分布、数据验证、参数估算(需根据模型复杂度选择PQL、拉普拉斯近似等方法)及模型优化(检验过离散与残差,通过信息准则或假设检验筛选最优模型)。GLMM能有效解决传统方法无法处理的"伪重复"和推广性问题,为复杂生物数据提供可靠分析框架。

wewil_lwin的博客 5005

Android MediaCodec学习笔记

模块介绍 基本概念 OpenMAX是Khronos Group提出的标准,目标在于创造一个统一的接口,加速大量多媒体资料的处理。OpenMAX分成三层:应用层(Application Layer, AL), 整合层(Integration Layer, IL) 以及开发层(Development Layer, DL)。 OpenMAX (Open Media Acceleration) OpenMAX AL Application Layer ..

kisshine 2358

手把手带你玩转Spark机器学习-使用Spark构建聚类模型

本文以Covid-19新冠肺炎的公开数据为例,为大家演示如何在Spark上进行空缺值处理、异常检测、去除重复项等预处理操作。 同时为了直观了解过去一段时间内新冠肺炎病例演变情况,我们还引入geopandas来画一个比较酷炫的全球新冠肺炎地理热图,并通过coding将png图像转换成一个动态图片gif,最后我们讲解了K-means在新冠肺炎数据上的实际应用,并针对最终的聚类结果作出相应的解释及分析。.....................

分享人工智能学习心得与实践经验,探讨应用场景,见证变革与进步 3598

【Docker安装】Ubuntu 24.04.2 LTS系统下安装Docker环境——指定APT源安装方式

【Docker安装】Ubuntu 24.04.2 LTS系统下安装Docker环境——指定APT源安装方式

jks212454的博客 628

图解大数据 | Spark机器学习(上)-工作流与特征工程

本文介绍Spark中用于大数据机器学习的板块MLlib/ML,讲解机器学习工作流(Pipeline)及其构建方式,并详解讲解基于DataFrame的Spark ML特征工程,包括二值化、定边界离散化、标准化、特征抽取等。

ShowMeAI研究中心 1万+

Python爬虫实战:抓取CVE安全漏洞数据库

在网络安全领域,CVE(Common Vulnerabilities and Exposures)是一个非常重要的安全漏洞字典,它为每个安全漏洞提供了唯一的标识符。安全研究人员、开发人员和系统管理员都需要及时了解最新的CVE信息,以便采取相应的防护措施。本文将详细介绍如何使用Python爬虫技术从专业CVE网站抓取漏洞数据,并构建一个完整的CVE信息采集系统。本文详细介绍了如何使用Python爬虫技术从专业CVE网站抓取安全漏洞数据。多种爬虫技术反爬虫策略:User-Agent轮换、代理IP、请求延迟。

2201_76125261的博客 370

akamai3简单分析

akamai流程的简单分析

记录一些web逆向的过程 918

【机器学习】大数据时代,模型训练慢如牛?解锁Spark MLlib与分布式策略

随着数据量的爆炸式增长,如何有效地利用机器学习技术从海量数据中挖掘价值,成为了业界关注的焦点。传统单机机器学习方法在面对TB甚至PB级别的数据时,往往显得力不从心。本篇文章将深入探讨将机器学习应用于大规模数据集所面临的挑战,介绍主流的大数据处理框架(特别是 Apache Spark 及其 MLlib 库),解析分布式训练的核心策略,并展望云平台如何为大数据机器学习提供强大的支持。

吴师兄大模型的博客 1485

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

图解Spark原理及实践----大数据技术栈12

回顾:大数据平台技术栈(ps:可点击查看),今天就来说说其中的Spark!来自:ITPUBSpark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统,因效率高...

架构师小秘圈 686

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

推荐上百本优质大数据书籍,附必读清单(大数据宝藏)

历时多年整理,每看到一本好书都会收藏下来,到现在一看竟然有100多本了 这些书籍确实是大数据的宝藏,从大数据入门到实战,深入原理,大数据架构等全部都有 从 hadoop,hive,spark,flink,kafka,hbase,kudu,clickhouse,数仓建模,大数据算法,机器学习,数据科学,jvm虚拟机,数学思维,5G时代等等全都有 以下为书籍截图: 书籍太多,所以先推荐几本必读书籍(我读过的认为比较好的,其他也有很好的只是我还没读,所以没写) Hadoop+Spark大

yuan_more的博客 7337

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

《图解 Spark:核心技术与案例实战》核心内容详解

图解 Spark:核心技术与案例实战》由郭景瞻撰写,电子工业出版社出版,是一本的 Spark 技术专著。全书基于 Spark 主流 2.x 系列版本(兼容 3.x 核心特性),完整覆盖 Spark 底层架构、核心运行原理、四大主流组件应用流程,配套 4 类互联网大数据核心业务场景的可复现实战案例,将分布式计算抽象逻辑转化为直观的架构图、交互流程图、步骤分解图,平衡理论深度与工程落地能力,是国内大数据领域从 Spark 基础学习到生产落地的代表性技术读物。

hopsky的博客 212

客户流失?来看看大厂如何基于spark+机器学习构建千万数据规模上的用户留存模型 ⛵

如何在海量用户中精准预测哪些客户即将流失?本文结合音乐流媒体平台 Sparkify 数据,详细讲解一个客户流失建模预测案例的全流程:探索性数据分析 EDA、数据处理、进一步数据探索、建模优化、结果评估。【代码与数据集亲测可运行】........................

ShowMeAI研究中心 1万+

Spark技术与实战:从入门到精通

经典书籍:《High Performance Spark》

MalinaBaby的博客 788

史上最简单的spark系列教程 | 完结

《史上最简单的spark系列教程》系列: 与其说是教程不如说是改良后的个人学习笔记|| 教程参考自:《spark官方文档》,《spark快速分析》,《图解Spark核心技术与案例实战》,结合个人开发和记录中的坑,整合而成,教程通俗易懂,摒弃大量难懂的理论知识,整合为代码+精简理论的文章,涵盖Kafka,zookeeper,spark,机器学习等多方位知识,帮助你快速入门大数据和机器学习

只有变秃,才能更强 3万+

图解大数据 | 基于Spark RDD的大数据处理分析

RDD(弹性分布式数据集合)是Spark的基本数据结构,Spark中的所有数据都是通过RDD的形式进行组织。本文讲解RDD的属性、创建方式、广播与累加器等重要知识点,并图解RDD高频算子。

ShowMeAI研究中心 1万+

图解大数据 | 大数据分析挖掘-Spark初步

Apache Spark是目前最主流和常用的分布式开源处理系统,支持跨多个工作负载重用代码—批处理、交互式查询、实时分析、机器学习和图形处理等。本节ShowMeAI给大家讲解它的相关知识。

ShowMeAI研究中心 1万+
上一篇: 图解大数据 | Spark机器学习(上)-工作流与特征工程
下一篇: 图解大数据 | Spark GraphFrames-基于图的数据分析挖掘
ShowMeAI
博客等级 码龄5年 6514粉丝 672原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值