IT_心如止水的博客

pandas作为python数据分析的一大利器，为广大数据分析人员使用。今天无意中，听到美女同事吐槽：dataframe好慢啊！嗯哼，瞬间引起了我这个数据人的注意，过去一看，原来是用的方法本身效率低。日常工作中，按照行遍历数据是我们一个非常常见的场景！尤其是从sql boy转到数据分析的我，动不动就想 select * from table1;一下，看看数据的大概情况。这一操作在pandas中的实现主要有一下几种：1、iterrows()原理是将Dataframe迭代为Series，再

有监督学习即训练数据同时拥有输入变量(x)和输出变量(y);使用一个算法把输入到输出的映射关系——y=f(x)训练成一个模型，用这个模型对新的数据进行预测。无监督学习即训练数据只有输入变量(x)，并没有输出变量(y)，无监督学习的目的就是将这些训练数据潜在的结构或者分布找出来，类似于去探索。两者主要在于训练数据是否有输出变量也就是标签。实际应用在实际问题的应用中，还是以有监督学习为主流。主要原因还是有监督学习更容易得到切实有用的结果，毕竟预测结果可控，优化目标明确，因此只有方

# coding:utf-8"""自动打开excel文件并截图保存"""import win32com.client as win32from PIL import ImageGrab, Imageexcel = win32.Dispatch('Excel.Application')excel.Visible = Falseexcel.DisplayAlerts = False# 打开excel文件，注意此处要使用绝对路径wb = excel.Workbooks.Open('E:..

定义：VLOOKUP函数是Excel中的一个纵向查找函数，它与LOOKUP函数和HLOOKUP函数属于一类函数，在工作中都有广泛应用，例如可以用来核对数据，多个表格之间快速导入数据等函数功能。功能是按列查找，最终返回该列所需查询序列所对应的值；与之对应的HLOOKUP是按行查找的。该函数的语法规则如下：VLOOKUP(lookup_value,table_array,col_index_num,range_lookup) 参数 简单说明 输入

在用pandas进行数据处理过程中，经常会遇到dict、list、series、dataframe之间相互转换的场景，今天特意整理了一下，以备自己后面再次遇到可以快速解决，分享出来也方便大家# dict、list、series、ataframe之间的相互转换import pandas as pddict1 = {'id': [1,2] ,'name':['xiaoming', 'dandan']}list1 = [{'id': 1, 'name':'xiaoming'}, {'id': 2

需求：数据清洗，将字符串数据中的任意格式的空白字符（中英文空格，换行，换页符等任意全角空格符）匹配并替换掉解决方案：def varchar_process(x): if (not x is None) and (not ':' in str(x)): try: s = re.sub(r'\s+', '', x, re.M) except: s = x else: s = x

在日常工作中，时常遇到这样的问题：一个csv文件用wps/excel打开显示正常，但是用编译器（sublime、notepad++）等打开就乱码，或者相反；wps/excel打开显示乱码，但是用编译器（sublime、notepad++）等打开正常答案：此种情况主要原因是编码格式的原因，而且仅发生在文件中包含中文的情况。因为文件中有中文的话，默认使用utf-8编码格式，而这种格式wps/excel是无法兼容的，需要将编码格式改为ANSI编码或者UTF-8-BOM编码；你可以使用任何编译器进行