使用pyspark做tf模型预测踩坑记录

最新推荐文章于 2024-01-30 10:51:18 发布
最新推荐文章于 2024-01-30 10:51:18 发布
阅读量3.3k 收藏 2
点赞数
分类专栏： spark python linux 文章标签： spark tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012908433/article/details/118529794
版权
本文记录了使用pyspark进行tensorflow模型预测时遇到的挑战，包括pyarrow版本兼容问题、python环境管理、conda管理、python解释器版本错误、c库依赖、文件系统访问、pandas_udf导入错误以及模型加载速度优化等，并提供了相应的解决办法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

背景

离线推荐场景在业务中并不罕见，如果对实效性有一定要求，其计算压力会成倍增加，单机环境很难承载计算压力和后续扩展需求，很直接的想法就是借助分布式集群加速计算。这里我们使用pyspark做tf savedmodel的inference，之前没搞过，所以在环境问题上踩了很多坑，这里记录一下。

踩坑记录

  • 报错信息如下
: org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 3.0 failed 1 times, most recent failure: Lost task 0.0 in stage 3.0 (TID 5, localhost, executor driver): java.lang.IllegalArgumentException
	at java.nio.ByteBuffer.allocate(ByteBuffer.java:334)
	at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543)
	at org.apache.arrow.vector.ipc.message.MessageChannelReader.readNext(MessageChannelReader.java:58)
	at org.apache.arrow.vector.ipc.ArrowStreamReader.readSchema(ArrowStreamReader.java:132)
	at org.apache.arrow.vector.ipc.ArrowReader.initialize(ArrowReader.java:181)
	at org.apache.arrow.vector.ipc.ArrowReader.ensureInitialized
最低0.47元/天 解锁文章
基于Tensorflow、pyspark实现矩阵分解的电影推荐系统 附完整代码
02-01 652
基于Tensorflow、pyspark实现矩阵分解的电影推荐系统 附完整代码
利用机器学习模型对PySpark流数据进行预测
TensorFlowNews
09-17 1476
作者|LAKSHAY ARORA 编译|VK 来源|Analytics Vidhya 概述 流数据是机器学习领域的一个新兴概念 学习如何使用机器学习模型（如logistic回归）使用PySpark对流数据进行预测 我们将介绍流数据和Spark流的基础知识，然后深入到实现部分 介绍 想象一下，每秒有超过8500条微博被发送，900多张照片被上传到Instagram上，超过4200个Skype电话被打，超过78000个谷歌搜索发生，超过200万封电子邮件被发送（根据互联网实时统计）。 我们正在以前所未
Pyspark 利用Pandas UDF 进行模型预测
beingstrong的博客
03-05 957
当我们训练好了一个模型，想在大规模的数据上预测时，pyspark的Pandas UDF在加载模型并使用模型对数据进行分布式预测很有用
Pyspark+tensorflow-信用贷款数据分析实战（三）——数据提取
weixin_43676010的博客
12-31 706
3.数据提取 目的：建立因果关系模型 数据提取的时候要对数据有一定的认识，不能是相关而应该是因果（区分相关关系和因果关系），预测的变量x要在被预测变量y之前取得 相关关系：一个小孩子身高的长高速度和GDP增长的速度就可以做相关关系，但这明显没有什么关系。 因果关系：家庭收入和全国GDP总量，这就明显具有一定的因果关系。 细分了特征变量之后，就有了下面的模型框架： 观察窗口（历史）看解释变量...
微博传播数量和传播深度的预测--基于pyspark和某个回归算法
weixin_34074740的博客
09-02 317
8-28决定参加一下这个千万条的数据处理任务，因为场景和自己做过的一个回归分析预测差不多，第一天开始在小规模的数据上做准备工作。 第二次大修改版本 date 20160829 星期一¶ 原始数据处理，得到用户粉丝关系，微博转发在每个时间段的量，微博转发的总体深度 下一阶段目标，建立模型，实现基于时间序列的预测 第三次大修改版本 date 20160...
Tensorflow for Java + Spark-Scala分布式机器学习计算框架的应用实践
去哪儿网技术沙龙
07-26 778
王辉，2017年加入去哪儿网。 目前负责反爬虫相关风控业务，技术领域涉猎广泛，在风控智能化实践方向的道路上持续探索中。 一. 前言 Qunar 智能风控场景中，风控研发团队经常会应用一些算法模型，来解决复杂场景问题。典型的如神经网络模型，决策树模型等等。而要完成模型从训练到部署预测的全过程，除了模型算法之外，离不开技术框架的支撑。本篇文章将和大家分享一下，在预测服务部署阶段，基于 Tensorflow for Java 和 Spark-Scala 构建分布式机器学习计算框架的实践经验。主要围绕以下几...
Pyspark+tensorflow-信用贷款数据分析实战（二）——业务理解
weixin_43676010的博客
12-31 530
2.业务理解 根据什么指标（变量）预测客户是否会欠贷？ 建立客户的违约模型，就需要确定变量X对违约状态Y的影响以及之后用到预测，这种根据属性，状态，行为来构建变量，是很低效的。 就算使用几千个几万个变量加上一定的算法构建出来了一个模型，这种模型是没有价值的 所以要对违约这个业务情况进行分析： 违约收益：借了一万，打死不还钱，赚了1万 违约成本：不还款就会有成本（征信，信用，...
PySpark使用pandas_udfs时报错py4j.protocol.Py4JJavaError java.lang.IllegalArgumentException
CallMeYunzi的博客
05-18 1326
报错如下： java.lang.IllegalArgumentException at java.nio.ByteBuffer.allocate(ByteBuffer.java:334) at org.apache.arrow.vector.ipc.message.MessageSerializer.readMessage(MessageSerializer.java:543) at org.apache.arrow.vector.ipc.message.MessageChannelReader.
pyspark 使用pandas_udf 报错：java.lang.IllegalArgumentException
anglemanyi的博客
06-13 732
pyspark使用pandas_udf时的一个坑 2.运行报错： 3. 解决办法 报错原因：pyarrow 版本太高。解决办法：卸载pyarrow，安装低版本的pyarrow，这里安装0.12.0 程序就正常了。
文章排序-pyspark FTRL模型（四）
qq_29153321的博客
03-30 756
构建TFRecords文件 TFRecords其实是一种二进制文件，虽然它不如其他格式好理解，但是它能更好的利用内存，更方便复制和移动，并且不需要单独的标签文件。 import tensorflow as tf import pandas as pd from pyspark.sql import SparkSession spark = SparkSession \ .builder ...
基于Spark的音乐专辑数据分析（scala）
阿坨的博客
08-15 7829
前言 本项目所使用的数据及其编写的代码，可戳 https://download.youkuaiyun.com/download/atuo200/12716083下载。本项目采用scala编写数据分析代码，若采用python编写数据分析代码，可参考 基于Spark的音乐专辑数据分析展示。 数据来源 数据集albums.csv，包含了10万条音乐专辑的数据。主要字段说明如下： album_title：音乐专辑名称 genre：专辑类型 year_of_pub： 专辑发行年份 num_of_tracks： 每张专辑中单曲数
pyspark ---python程序动态设置spark driver内存大小
WGS.
05-11 3998
以下面这种方式设置的driver memory是没用的 sc = SparkContext('local[*]', 'ad_position') ss = SparkSession(sc).builder.master('local[*]') \ .config('spark.sql.shuffle.partitions', 1).config("spark.debug.maxToStringFields", "100")\ .config('spark.driver.memory', '4
PySpark任务提交spark-submit参数设置一文详解
master_hunter的博客
01-12 6410
之前我们已经进行了pyspark环境的搭建以及经过jupyter notebook进行过开发以及实现了一系列的函数功能.但是一般我们跑spark都是在集群上面跑，只有测试一般在本地上测试，而且每个公司配置的spark集群的端口和设置的参数都有很大出入，故每种情况都有可能发生。所以一般任务提交的参数最好都需要能够清楚的明白对应功能。很多spark任务都会吃大量的内存以及队列资源，合理的安排spark资源十分重要，这些都需要我们在spark-submit指令上面配置。
spark分布式运行xgboost
secret2316352792的博客
07-13 1638
spark分布式运行xgboost 数据集如下所示 程序完整代码 # coding=UTF-8 import os os.environ['PYSPARK_SUBMIT_ARGS'] = '--jars /data/pycharm/zhanglong/pysparkxgboostnew/xgboost4j-spark-0.90.jar,/data/pycharm/zhanglong/pysparkxgboostnew/xgboost4j-0.90.jar pyspark-shell' from py
Python黑马头条推荐系统第三天 实时计算和召回业务、推荐业务流实现与ABTest
fegus的博客
04-26 2024
实时计算业务 4.1 实时计算业务介绍 学习目标 目标 了解实时计算的业务需求 知道实时计算的作用 应用 无 4.1.1 实时计算业务需求 实时（在线）计算： 解决用户冷启动问题 实时计算能够根据用户的点击实时反馈，快速跟踪用户的喜好 4.1.2 实时计算业务图 4.2 实时日志分析 学习目标 目标 了解实时计算的业务需求 知道实时计算的作用 应用 无 日志数据我们已经收集到hadoop中，但是做实时分析的时候，我们需要将每个时刻用户产生的点击行为收集到KAFKA当中，
（一）PySpark3：安装教程及RDD编程
最新发布
weixin_44458771的博客
01-30 3257
Apache Spark是一个用于大数据处理的开源分布式计算框架，而PySpark则是Spark的Python 实现。PySpark允许使用Python编程语言来利用Spark的强大功能，使得开发人员能够利用Python的易用性和灵活性进行大规模数据处理和分析。1、语言选择：PySpark： 使用简洁而易学的Python作为编程语言，这使得PySpark学习难度大大降低。Spark-Scala： 使用Scala作为主要编程语言。
spark-spark程序与pyspark交互-submit的参数-RDD的特性-初识对象数据集-算子类型
LIUERTOU的博客
11-08 1953
spark程序与pyspark交互流程 交互的流程图 说明 spark-submit想关的参数 spark-submit.sh脚本的作用 用于将spark程序提交到指定的资源调度平台上进行运行，并且在提交过程中，可以对资源设置相关的配置信息 基本参数 --master ： spark-core的内容（核心部分） RDD的基本介绍 背景说明 1）在早期的计算模型： 单机模型 比如： pandas ， mysql 依赖于单个节点的性能 适用于： 少量数据集统计分析的处理
jupyter notebook + pyspark 环境搭建
诸葛建站
02-02 420
安装并启动jupyter 安装 Anaconda 后, 再安装 jupyter pip install jupyter 设置环境 ipython --ipython-dir= # override the default IPYTHONDIR directory, ~/.ipython/ by default ipython profile create foo # create the...
使用pyspark编写TF-IDF算法，并自由发挥相关使用场景
04-20
感谢您的问题！我可以回答关于使用pyspark编写TF-IDF算法以及相关使用场景的问题。 TF-IDF算法是一种用于信息检索和文本挖掘的常见算法。在使用TF-IDF算法时，首先需要通过计算某个词在特定文档中的出现次数（词频TF）以及该词在整个文档集合中出现的文件数（逆文档频率IDF）来计算该词的权重。TF-IDF算法常常被用于文本分类、信息检索以及聚类等领域。 在使用pyspark编写TF-IDF算法时，您可以采用spark.ml库中提供的TF-IDF算法模型。spark.ml库是pyspark中一个常见的机器学习库，可以帮助用户方便地进行机器学习任务。您可以使用如下代码实现TF-IDF算法： ``` from pyspark.ml.feature import HashingTF, IDF, Tokenizer # 创建一个示例数据集，包含两个文档 sentenceData = spark.createDataFrame([ (0.0, "Hi I heard about Spark"), (0.0, "I wish Java could use case classes"), (1.0, "Logistic regression models are neat") ], ["label", "sentence"]) # 将文本分词 tokenizer = Tokenizer(inputCol="sentence", outputCol="words") wordsData = tokenizer.transform(sentenceData) # 计算词频 hashingTF = HashingTF(inputCol="words", outputCol="rawFeatures", numFeatures=20) featurizedData = hashingTF.transform(wordsData) # 计算逆文档频率 idf = IDF(inputCol="rawFeatures", outputCol="features") idfModel = idf.fit(featurizedData) rescaledData = idfModel.transform(featurizedData) rescaledData.select("label", "features").show() ``` 此代码中，我们使用pyspark中的HashingTF算法来计算词频，使用IDF算法计算逆文档频率。接着，我们将得到的特征向量作为在机器学习任务中的输入，例如分类、聚类等任务。 在实际应用中，TF-IDF算法可以用于许多用户行为分析场景。例如，在一家电商企业中，我们可以通过对用户评价的文本进行TF-IDF计算，从而了解哪些商品的评价比较好，提高商品的销售量。此外，在新闻门户网站中，使用TF-IDF算法可以对新闻进行分类，使用户能够更方便地找到自己感兴趣的新闻。 以上是关于使用pyspark编写TF-IDF算法以及其相关使用场景的回答，希望能够帮到您！
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值