Lestat.Z.的博客

前言在处理dataframe中的字段名是，发现有些字段名在处理后是重复，于是新定义了策略，对这些相同列名的字段进行求和合并summing the duplicated columns代码实现#Hanle Duplicatesfrom operator import addfrom functools import reduceimport collectionsoriginal_columns = [...]columns_after_cleanup=[...]counter=colle

代码如下：from pyspark.serializers import PickleSerializer, AutoBatchedSerializerdef _to_java_obj_rdd(df): rdd=df.rdd._reserialise(AutoBatchedSerializer(PickleSerializer())) return rdd.ctx._jvm.org.apache.spark.mllib.api.python.Serde.pythonToJava(rdd._jrdd

记录一段python中关于timezone的小代码,将另一个时区服务器的时间转为utc+8import timefrom bson import ObjectIdfrom datetime import datetime, timedelta, timezonefrom dateutil.parser import parsedt1 = parse('2020-03-20')now_d...

代码如下：class ListNode(): def __init__(self,x): self.val =x self.next = None def printNode(head): curr=head while curr is not None: print(curr.val,end=' -&g...

代码如下：class ListNode(): def __init__(self,x): self.val =x self.next = None def printNode(head): curr=head while curr is not None: print(curr.val,end=' -&g...

代码如下：def heap_adjust(arr, i, l): temp = arr[i] j = i*2 +1 while j< l: if j+1< l and arr[j]<arr[j+1]: j += 1 if arr[j]<temp: break ...

代码如下：class Node(): def __init__(self, x): self.val = x self.left = self.right = None class Tree(): def __init__(self): self.root = None def add(sel...

问题描述给定两个排序过的数组，求这两个排序数组的中位数， 在O(log(min(n, m)))内。解题思路将所有元素重组成有序的两部分，中位数就在段点处def find_median(a, b): #if len(a) > len(b): # a, b = b, a imin, imax = 0, len(a) n, m = len(a), len(b) while imi...

前言inspect模块提供了几个有用的函数来帮助获取有关活动对象的信息，例如模块，类，方法，函数，回溯，框架对象和代码对象。 例如，它可以用来检查类的内容，检索方法的源代码，提取和格式化函数的参数列表，或获取显示详细回溯所需的所有信息。常用方法方法名描述inspect.getmembers(object[, predicate])返回按名称排序的（名称，值）对列表中对象...

前言自定义了一个dataframe的transformer，用来清楚无用的列， 逻辑比较简单，具体代码如下import numpy as np import pandas as pdfrom sklearn.base import BaseEstimator, TransformerMixinfrom sklearn.preprocessing import OneHotEncoder,...

前言自己根据需求， 自定了一个简单的CustomImputer, 代码如下import numpy as np import pandas as pdfrom sklearn.base import BaseEstimator, TransformerMixinfrom sklearn.utils.multiclass import type_of_targetfrom sklearn...

前言自定义了一个简单的字符变量的变形器，代码如下。import numpy as np import pandas as pdfrom sklearn.base import BaseEstimator, TransformerMixinfrom sklearn.preprocessing import LabelEncoder, OneHotEncoder, StandardScale...

记录一个pipeline的例子，代码如下#Categrical features to pass down the categorical pipeline cateforical_features = ['date', 'waterfront', 'view', 'yr_renovated']#Numerical features to pass down the numerical p...

学习一下sklearn 中的BaseEstimator， 源代码如下：class BaseEstimator: """Base class for all estimators in scikit-learn Notes ----- All estimators should specify all the parameters that can be set ...

def quicksort(alist): return quicksorthelper(alist, 0 , len(alist)-1) def quicksorthelper(alist, first, last): if first < last: splitpartition = partition(alist, first, last) ...

问题描述在替换数值型字段时， 选择将空值替换为该列的平均值， 代码如下：df[col].fillna(df[col].mean(), inplace=True)然后在调用scale类转化时，还是出现了如下错误ValueError: Input contains NaN, infinity, or a value too large for dtype ('float64')”检查了一...

import functoolsimport loggingfrom functools import wrapsdef get_class(): return 'MAIN_CLASS"def create_logger( name = __name__): logger = logging.getLogger(name) logger.setLevel(Logging.INFO...

问题描述在使用如下flask代码时候，出现了zmq.error.ZMQError: Address already in use的错误from flask import Flask, request, redirect, url_for, flash, jsonifyimport numpy as npimport pickle as pimport jsonapp = Flask...

文章目录问题概述主要思路NotesUse external python packageRPM packageUsing rpm2cpio (Recommended)Test python package using `export PYTHONPATH`Build rpm pacakge from sourceLinux releasePython release versionInstall ...

查看了Anaconda 镜像使用帮助我们可以通过以下命令为Anaconda添加仓库conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anacond...

文章目录读取Mongo数据到Pandas的dataframe中不含嵌套数据含有嵌套数据读取Mongo数据到Pandas的dataframe中我们可以通过pymongo包连接mongodb进行数据处理，然后将数据存储到pandas的dataframe里面。例子中的student表的数据结构如下：{’_id’: ObjectId(‘5c7138f4e0411eb39749fdff’), ‘na...

文章目录什么是ObjectIdObjectId的构造方法ObjectId实例方法ObjectId与Timestamp的转换shellpythonjavascript什么是ObjectIdObjectId是MongoDB文档的默认主键，通常位于插入文档的_id字段中。例如：{ &quot;_id&quot;: ObjectId(&quot;507f1f77bcf86cd799439011&quot;)}ObjectI...

PigLatin中没有类似于if-else的控制结构。如果需要完成类似的控制结构，则需要使用embedded pig来完成。例如我们可以在Python中嵌入Pig Latin语句和Pig命令（请确保Jython jar包含在类路径中）。以下例子为判断pig作业是否出去结果，如果无输出结果，则删除hdfs的输出文件夹下的空文件：#/usr/bin/python3# explicitly imp...

文章目录前言准备工作创建一个新的Scrapy项目定义一个爬虫Spider导出抓取数据保存数据到数据库(MongoDB)前言之前用python写了一个简单的爬虫项目用来抓取上海链家上的一些房价信息，整理了下代码，特此记录准备工作安装Scrapy创建一个新的Scrapy项目例如，我们可以使用指令 scrapy startproject Lianjia 创建一个名为Lianjia的scr...

Python Pandas中给我们提供了很多方便的api。比如我们就可以利用其与excel相关的api将csv转为excel，简单例子如下：from pandas.io.excel import ExcelWriterimport pandas as pd csv_files = ['file1.csv', 'file2.csv', ..., 'file5.csv']#excel nam...

import multiprocessing as mpimport functoolsimport logging#out of classdef call_func(instance, name, job_dict, arg): "indirect caller for instance methods and mp" return getattr(instance, name)...

如何pyspark与HDFS交互前言使用Java Gateway使用第三方库使用subprocesses子进程参考资料前言我们经常需要从Spark应用程序执行HDFS操作，无论是在HDFS中列出文件还是删除数据。如果使用scala写spark程序的话，我们可以调用hadoop相关的jar包对hdfs进行操作，但在Python Spark API（PySpark）并不能立即实现这一点，那么在p...

前言启动Python进程的开销不小[1]，但是真正的开销在于将数据序列化到Python中。推荐在Spark中定义UDF时首选Scala或Java，即使UDFs是用Scala/Java编写的，不用担心，我们依然可以在python(pyspark)中使用它们，简单示例如下：//My_Upper UDFpackage com.test.spark.udfimport org.apache.sp...

前言虽然有充分的理由使用Python API开发Spark应用程序，但不可否认的是Scala是Spark的原生语言，有一些功能或第三方库并没有直接提供python版本。那么当我们想要使用一些PySpark不支持的功能，或者只是想在Python应用程序中使用Scala库该怎么办呢？下面的示例展示了如何在PySpark应用程序中调用Scala代码。示例Pyspark在解释器和JVM之间建立了...

一些常用的Spark对象前言一些常用的Spark对象SparkContextSQLContextRDDSDataFrames参考资料前言在PySpark中调用Scala/Java代码时，我们会遇到一些负载的对象需要传递，例如一些spark对象。在环境之间(Python / Java)传递时，我们必须将Spark对象显式地包装/提取到java对象中。下面是一些常用的Spark对象。一些常用的...

我们在做数据清洗时经常用和一些多余无用的空格打交道，例如移除开头和末尾的空格，或将多个连续空格替换成一个等。以下提供几个在pypark中处理字段中多余空格的例子。import pyspark.sql.functions as Ffrom pyspark.sql.functions import coldef single_space(col): return F.trim(F.reg...

前言项目需要在原有的旧表里面添加一个新字段然后插入有一个新表里面，同时需要保持原有其他字段的顺序，如果直接使用pymongo读取的话，每一条document是存到到dict数据类型里面的，不能保证key的顺序。如果想保证key的顺序，就需要将数据存储到有序字典，也就是OrderedDict里面。搜索了一番，发现bson里面有更方便的方法，即使使用SON对象，例子如下：代码范例from bso...

简单总结一下pymongo中与index操作相关一些函数，。可参考一下代码&amp;amp;amp;amp;amp;amp;amp;amp;gt;&amp;amp;amp;amp;amp;amp;amp;amp;gt;&amp;amp;amp;amp;amp;amp;amp;amp;gt;import pymongo as pm&amp;amp;amp;amp;amp;amp;amp;amp;gt;&amp;amp;amp;amp;amp;amp;amp;am