mycorecpu-优快云博客

原创在pandas中筛选数据注意问题（or ，|）

pandas 中drop掉某一行，根据某列值为固定值的条件，data = data.drop(data[(data.productSKU == '(not set)') | (data.productSKU == 's:')].index,axis=0)注意点：不要用or来data = data.drop(data[(data.productSKU == （'(not set)') or ...

2019-01-02 18:20:51 4169

转载 dict转pands dataframe注意点

把dictd = {'A':0}转换成DataFrame，首先，DataFrame的语法格式应为：import pandas as pddf = pd.DataFrame({'A':[0]})但是如果是：df = pd.DataFrame({'A':0})#直接输入dictValueError: If using all scalar values, you must pass...

2018-12-26 18:21:13 763

原创 spark存储到本地文件

spark dataframe存储到本地csv或者txt，会基于hahoop存储为一个文件夹如a.csv文件夹。为了存储为单一文件的方式如下：1.df.coalesce(1).write.csv('result.csv') coalesce（num），Returns a new DataFrame that has exactly numPartitions partitions...

2018-12-24 18:10:51 8967 2

翻译 numpy 中ravel()和flatten（）区别

将多维数组降位一维），两者的区别在于返回拷贝（copy）还是返回视图（view），numpy.flatten()返回一份拷贝，对拷贝所做的修改不会影响（reflects）原始矩阵，而numpy.ravel()返回的是视图（view，也颇有几分C/C++引用reference的意味），会影响（reflects）原始矩阵。 ...

2018-12-19 09:52:54 613