Trista的博客

spark中如果有中间结果（如抽样结果）需要存储，有两种方式，直接存为rdd，或者collect出来，再存储。 存储为rdd rdd.saveAsPickleFile("hdfs://ip/rdd") 可直接使用。 存储为dataframe import pickle rdd_collect = rdd.collect() f1 = open("/root/rdd_collect ....

解决报错DtypeWarning: Columns (2) have mixed types。 今天在使用pandas读取csv的时候，语句为： df_question1 = pd.read_csv("D:/data/final/question20181201.csv",usecols=[2,4,15]) 出现了类型报错，报错内容如下： D:\Anaconda\lib\site-package...

最近经常用到dataframe，经常用的时候百度，用完就忘了，下次用的时候还要再次百度，所以在这里整理一下，以备后需。 1 dataframe列操作 首先新建一个dataframe,读取文件 import pandas as pd df_test = pd.DataFrame("D:/data/test.csv") 1.1 列命名 假设有五行 df_test.columns = ["id","...

今天读取csv时遇到了报错如下： nicodeDecodeError: ‘utf-8’ codec can’t decode byte 0xd1 in position 0: invalid continuation byte 原本的代码 doctor_info = pd.read_csv("F:/master/offline_of_teamwork/team_doctor_infomation....