lvhuike的博客

crosstab是透视表的一个特殊情况，计算的是分组中的频率，和pivot_table相比，它不需要加上aggfunc='mean'这个参数。

　 元组 列表 字典(哈希表，关联数组) 集合 符号 () [] {} {} 是否有序 有序 有序 无序 无序 是否可索引切片 可索引，可切片 可索引，可切片 不可索引，不可切片 不可索引，不可切片 是否可变 不可变 可变，可以增删 可变，可以增删 可变，可以增删 是否可hash化 可hash 不可hash 不可hash 不可hash 是否可

先说明一下：我的anaconda安装路径设置的是国内镜像，不是官方默认的路径在anaconda安装lifelines，1、首先用的命令是：conda install lifelines，结果：不成功。2、接着用从lifelines说明书上写的命令：conda install -c conda-forge lifelines结果：还是不成功。3、最后使用anaconda默认的路径，命令是：conda install -c https://conda.anaconda.org/cond

read_csv报错，报错信息如题，解决：df = pd.read_csv(filename, encoding='gb18030')

使用python往mysql导入数据时接连报错，Data too long for column 'Key_Name' 和data truncated for column 'Key_Name'。一、分析Bug初步判断是数据中Key_Name字段长度超过数据库表格设置的字段长度。二、解决办法调整字段长度：去数据库查看字段长度，发现是45，修改成100。再执行不再报错。...

首先介绍下这个bug的背景：使用pandas.to_sql()函数往Mysql里导入123万行数据的时候出的bug。在网上找了找，没找到怎么解决的，于是自己尝试。我的解决历程：【1】首先我觉得出现这个bug是某个字段有问题，可能字段的数据类型和数据库表中的字段的数据类型不一致，于是尝试先使用10条数据，可以顺利执行，那说明字段数据类型和数据库表设置的字段数据类型应该是没问题的。【2】接着跑全量数据还是同样的bug。【3】我考虑会不会是后面有某几条数据的某几个字段的值太异常了，为此我还

遇到的问题：chrome服务不能连接，用到chrome服务的脚本都跑不了。通常重启chrome服务的流程是：1. powershell cd到服务路径2. node chrome_service.js uninstall, 使用这句命令先卸载或者叫停止服务3. nodechrome_service.js install，使用这句命令重启服务我遇到的这个问题是重启服务后，执行使用chrome服务的脚本还是会报错。我是这样解决的：【1】确定问题出现的原因是什么。去文件路径下找到服务.

pip install tushare -i https://pypi.tuna.tsinghua.edu.cn/simple

conda upgrade pip

今天用到snowflake了，语句是import snowflake.connector报错：ModuleNotFoundError: No module named 'snowflake.connector'。首先想到是安装snowflake，于是在命令窗口输入：python -m pip install snowflake -i http://pypi.douban.com/si...

python -m pip install --user --upgrade pip -ihttp://pypi.douban.com/simple --trusted-host pypi.douban.com尝试多种方法都失败了，上面这个升级成功。在此记录一下 。

# 结束excel.exe进程taskkill /f /fi "imagename eq excel.exe"

又是SAP，自动化开发的时候测试数据只有1、2条没发现还有这个问题：查询出来的结果很多，需要滚动鼠标或者滚动条才能看下面的记录。本来写了个循环，会按句柄循环查看记录，句柄按记录序号自增，但是SAP那些记录的句柄不是按这条记录的序号来的，它跟这条记录在这一屏的位置有关。如果一屏能显示10条，我们一共查询了15条，那么有5条就不在这一屏，需要滚动下鼠标或者滚动条才能看到，假如第一屏显示的10条记录...

最近有一个自动化需求，实现的是：从SAP某些模块导出电子表格到本地，难点是实现excel临时文件的另存为，SAP导出的方式打开一个excel临时文件，然后往里写入数据，写好后需要另存excel临时文件，如果不另存为，SAP就直接关闭了临时文件，导出的数据也就消失了。吐槽：SAP太不智能了，导出文件功能就直接导出一个文件，让我们另存为最好了，这个模块就非得打开excel然后往里写数据，关键是它不...

最近有个项目做SAP自动化，脚本代替人工完成重复次数高的动作。在这个项目中借助了Scripting Tracker工具，网络上关于Scripting Tracker工具的介绍不是很多，因此写个文记录下我的使用心得，希望能帮助到你。一、先介绍下Scripting Tracker工具给我的帮助：1、找到操作对象句柄即ID。 2、录制动作转成python脚本。链接: ...

今天遇到好多个关于datetime的报错，于是有了一个想法，把datetime相关的bug都记录下来。1、method_descriptor object has no attribute today解决：导入模块写的是from datetime import datetime，改成import datetime2、descriptor strftime requires a date...

执行一个脚本报错This COM object can not automate the makepy process - please run makepy manually for this object，在网上查了一些资料，是pywin32com造成的，报错语句：excel = win32com.client.gencache.EnsureDispatch('Excel.Appli...

今天遇到一个需求，把一个脚本设置成定时任务。解决：1、写bat脚本1.1 先创建一个text文本，在里面写上如下语句：@cho offchcp 936cd C:\###python ****.pypause1.2 修改文本后缀，从.text到.bat2、window设置定时任务2.1 找到创建定时任务的地方：我的电脑——右键——管理——系统工具——任务计划程序——创建基...

做ETL半年了，把常用的代码总结以下。# -*- coding: utf-8 -*-import pandas as pdimport requestsfrom pymongo import MongoClientimport numpy as npfrom timeit import default_timer as timerimport refrom sqlalchemy...

写代码时遇到这个问题，代码大概如下： for i in dataSet: for j in canSet: if j.issubset(i): can_num_dic[j] = can_num_dic.get(j, 0) + 1TypeError: unhashable type: 'set'查了一些资料，...

列表 list ：，有序（可以位置索引），可以重复，可变，类型可以不同元组 tuple：有序（可以位置索引），可以重复，不可变字典 dic ：键值对，无序（不可以位置索引，只能用键），key不可以重复集合 set：跟字典类似，可以看成是字典的key组成的，所以有无序和不重复的性质。frozenset：不可变集合，不能向集合中添加或删除元素...

import osdir_path = "C:/***/***"for root,dirs,files in os.walk(dir_path): for file in files: # print(os.path.join(root,file)) if file[:len('***')] == '***': data_1...

python read_csv时，遇到报错：UnicodeEncodeError: 'mbcs' codec can't encode characters in position 0--1: invalid character，暴力解决方法是直接修改csv文件名，把文件名里面的中文改成英文。出错的代码如下：import pandas as pddf = pd.read_csv('s...

场景：即日起截止到2019年国庆节前，每周工作日的8点-20点，去指定目录查看一个文件当日是否存在，如果存在就拿来使用然后删除文件，如果不存在则每隔15分钟循环执行这个判断，直到文件出现在目录下，如果超过20点文件依然没有出现则不再执行循环。简易流程图如下所示。这里就模拟去桌面查找test.xlsx是否存在。处理过程：代码如下所示，因为是个定时任务，这里就不展示结果了。不知道怎么在...

场景和模拟数据：excel里有一份产品详情表，包含SKU编码、SKU名称、颜色和尺码，属性是按列排放的，但是部分SKU的属性是空的。这次的任务是把这份excel数据读到Python里面，并且要把属性转成按行排列，excel里面的原始数据形式和最终要转化成的dataframe形式如图所示。处理过程：每一步的处理可以参考注释理解。import pandas as pd# 读取e...

场景：Python中，DataFrame包含时间序列，需要从时间序列中取出每个月最后一天的日期。模拟数据介绍：DataFrame大小是（600，2），2列数据date和value，date是连续的从2018-01-01到2019-08-23，value连续的从0到599，想要的结果是每个月最后一天的日期，比如：2018-01-31、2018-02-28...2019-08-23，并把结...