lieying的博客

如果想在pyspark中 import tensorflow 来调用pb模型 分布式预测，那么将模型pb全部文件打包成tar包sc.addFile即可，spark会自动解析。

解决方法，加一个函数即可：def patch_pyspark_accumulators(): from inspect import getsource import pyspark.accumulators as pa exec(getsource(pa._start_update_server).replace("localhost", "127.0.0.1"), pa.__dict__)patch_pyspark_accumulators()...

直接上代码：spark = SparkSession \ .builder \ .appName("MIND") \ .config('spark.jars', 'xxx/spark-tensorflow-connector_2.11-1.11.0.jar') \ .getOrCreate()xxx为路径。

下载文件wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate执行安装python get-pip.py这就安装好了

一、pandas 可以取第一个df = df.sort_values(by=['uid', 'aid']).drop_duplicates(subset=['aid'], keep='first')二、pyspark 无法通过这种方式取第一个orderBy( [ 'uid', 'aid'], ascending=[ 0, 0, 0]).drop_duplicates( [ 'uid'])解决方案：window = Window.partitionBy(['uid']).orde.

1、字符串数组转成float并保留5位小数import numpy as npdata = [‘1.04545677’,‘2.012411’,‘3.41521552’]data = np.around(np.array(data, dtype=float),decimals=3).tolist()print(data)》》[1.045, 2.012, 3.415]...

使用@staticmethod或@classmethod，不需要实例化，直接类名.方法名()来调用。 区别： @staticmethod不需要表示自身对象的self和自身类的cls参数。 @classmethod也不需要self参数，但第一个参数需要是表示自身类的cls参数。 代码如下：class Task(object): data_p = 1 def func(...

python学习笔记：#@Author：lieying#@Function:Python进阶学习#@Data: 2017-05-01至2017-05-02#@Python:Python课程进阶学习#--------内容------##1、函数式编程#2、面向对象编程#3、能够编写模块化的程序#4、模块和包#5、面向对象#=========================...

翻看文件夹发现了我之前学习python的笔记分享下： 入门学习代码如下#@Author：lieying#@Function: Python学习#@Content: Python入门学习#@Data: 2017-04-30到2017-05-1#@Python版本:Anaconda 4.2.0---Python 3.5.2#=============================...

1.首先是安装protobuf:在此链接下载 在下面的连接https://blog.youkuaiyun.com/warrially/article/details/52683611中下载如下两个文件，2.然后将potoc-3.0.0-win32.zip下 文件 protoc.exe，放到protobuf-python-3.0.0\protobuf-3.0.0\src中，在cmd 下在文件夹prot...

在函数内部将global变量定义为全局变量。实现在函数内部改变变量值。 如下： def train(): global x x =1def test(): print(x)if __name__ == '__main__': train() test()在train中定义全局变量，在test直接输出：1...