dzysunshine的博客

map函数map：是一个映射函数，返回的是一个迭代器，优点是可迭代，不占内存，效率高列表推导式也可以实现映射变换def fun(s): return s+2mylist = range(100)a = map(lambda x:fun(x),mylist)next(a)reduce函数reduce：一个聚合操作from functools import reducedef add(x, y) : # 两数相加 return x + ysum1 =

python路径及运行相关方法import sysimport os# 当前文件的绝对路径os.path.abspath(__file__)# 当前文件的绝对路径的父级目录rootPath = os.path.dirname(os.path.abspath(__file__)）# 将路径添加到sys下（在退出python环境后添加的路径就会自动消失）sys.path.append(rootPath)# 返回当前工作目录。os.getcwd()stdout：标准输出默认需要缓存后再输出

用法直接附上代码import argparsedef get_args(): parser = argparse.ArgumentParser() parser.add_argument('--triviaqa_file', help='Triviaqa file') parser.add_argument('--squad_file', help='Squad file') parser.add_argument('--wikipedia_dir', help='Wik

在进行数据处理过程中，常常需要查看文件的第一行和最后一行，对于比较大的文件，可以通过以下代码进行快速查看。with open(fname, 'rb') as f: first_line = f.readline() off = -50 while True: f.seek(off, 2) #seek(off, 2)表示文件指针：从文件末尾(2)开始向前50个字符(-50) lines = f.readlines() #读取文件指针范围内所有行

在处理数据的时候，往往会遇到数据量比较大的情况，而使用pandas读取数据通常会占用内存过大，导致数据无法正常读取或者在进行特征工程时速度很慢，本文从两个角度简单介绍下应对大数据的处理方法。1. 分块读取数据读数据时只读取其中某些重要的列df = pd.read_csv('demo.csv',usecols=['column1', 'column2', 'column3'])读数据时只读取限定的行df = pd.read_csv('demo.csv',nrows=1000,usecols=['c

通常情况下，想调用某个类中的方法时，需要先实例化一个对象再进行调用。而使用@staticmethod或@classmethod，就可以不需要实例化，直接类名.方法名()来调用。这有利于组织代码，把某些应该属于某个类的函数给放到那个类里去，同时有利于命名空间的整洁。既然@staticmethod和@classmethod都可以直接类名.方法名()来调用，那他们有什么区别呢？从它们的使用上来看：@staticmethod不需要表示自身对象的self和自身类的cls参数，就跟使用函数一样。

join()：可以将字符串、元组、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串。# 对字符串进行处理animal = 'cat dog pig rabbit monkey chicken duck'print('对字符串进行处理得到： ','-'.join(animal))# 对数组进行处理animal = ['cat','dog','pig','rabbit','monke...

将一个自定义的函数应用到Pandas的数据结构中可以使用map(), apply()或者applymap()，它们的区别在于应用的对象不同。Map（ ）：将函数套用到Series上的每个元素；Apply（ ）：将函数套用到DataFrame的行与列；ApplyMap（ ）：是将函数套用到DataFrame的每个元素。...

文章目录1. pandas.concat()函数2. pandas.merge()函数3. pandas.join()函数4. pandas.append()函数5. 四个函数的区别6. 参考在数据处理过程中会遇到多个数据集之间进行拼接的操作，一般针对的是DataFrame类型的数据进行拼接操作。1. pandas.concat()函数代码展示pd.concat(objs, axis=0,...

根据数据的不同情况及处理数据的不同需求，通常会分为两种情况，一种是去除完全重复的行数据，另一种是去除某几列重复的行数据，就这两种情况可用下面的代码进行处理。1. 去除完全重复的行数据data.drop_duplicates(inplace=True)2. 去除某几列重复的行数据data.drop_duplicates(subset=['A','B'],keep='first',inpla...

# -*- coding: utf-8 -*-import pandas as pdimport sys df1 = pd.DataFrame({ 'A': ['A0', 'A1', 'A2', 'A3'], 'B': ['B0', 'B1', 'B2', 'B3'], 'C': ['C0', 'C1', ...

TSV文件和CSV的文件的区别是：前者使用\t作为分隔符，后者使用,作为分隔符。使用pandas读取tsv文件的代码如下：train=pd.read_csv('test.tsv', sep='\t')如果已有表头，则可使用header参数：train=pd.read_csv('test.tsv', sep='\t', header=0)如果已有主键列：train=pd.read_c...

numpy的用法转自陌路风流的博客

pandas的用法转自liufang0001的博客

Python Matplotlib简易教程

今天遇到的问题是，要将一份csv数据读入dataframe，但某些列中含有NA值。对于这些列来说，NA应该作为一个有意义的level，而不是缺失值，但read_csv函数会自动将类似的缺失值理解为缺失值并变为NaN。看pandas文档中read_csv函数中这两个参数的描述，默认会将’-1.#IND’, ‘1.#QNAN’, ‘1.#IND’, ‘-1.#QNAN’, ‘#N/A N/A’,’#...

datetime模块用于是date和time模块的合集，datetime有两个常量，MAXYEAR和MINYEAR，分别是9999和1.datetime模块定义了5个类，分别是1.datetime.date：表示日期的类2.datetime.datetime：表示日期时间的类3.datetime.time：表示时间的类4.datetime.timedelta：表示时间间隔，即两个时间点的...

我理解get_dummies是将拥有不同值的变量转换为0/1数值。打个比方，小明有黄、红、蓝三种颜色的帽子，小明今天戴黄色帽子用1表示，红色帽子用2表示，蓝色帽子用3表示。但1、2、3数值大小本身是没有意义的，只是用于区分帽子的颜色，因此在实际分析时，需要将1、2、3转化为0、1，如下代码所示：import pandas as pdxiaoming=pd.DataFrame([1,2,3],i...