
pandas问题和方法总结
文章平均质量分 74
pandas问题和解决方法总结
Moelimoe
Every single day that makes no difference is a betrayal to my life.
展开
-
使用pands.rolling方法实现移动窗口的聚合计算
rolling中还有一个center参数,可以指定移动窗口的中心位置作为基准对数据执行计算,center默认为False表示当前数据作为窗口的最后一个数作为基准选取计算的区域,为True的时候将以当前数据作为窗口的中心位置作为基准选取数据执行计算:窗口大小是奇数时,如上图一样上下各平分一般窗口计算区域,如果窗口大小是偶数,上半窗口会多多一个数,比如窗口是4,那么上半区域是2个数,下半区域是1个数,加上自身一共4个数支持指定时间窗口的条件:index必须是python的时间类型。原创 2023-04-30 23:53:35 · 1009 阅读 · 1 评论 -
使用异步ORM SQLAlchemy提升web服务性能
对于一个web服务,性能的瓶颈最终基本上都会出现在数据库读取的这一步上,如果能够在数据库读取数据的这一段时间自动切换去处理其他请求的话,服务的性能会得到非常显著的提升,因此需要选择一个合适的异步驱动和工具包,以最通用和常用为出发点,选择aiomysql + sqlalchemy介绍一些比较好的实践,SQLAlchemy的一些用法和最佳实践介绍一个使用SQLAlchemy连接实现pandas的异步read_sql_query方法的实现原创 2022-12-31 18:45:49 · 2414 阅读 · 0 评论 -
两种方式实现websocket获取数据库查询进度
本文实现了两种方式用websocket连接实现前端通过API获取数据库查询进度,作为websocket初步学习的参考。原创 2022-11-20 17:31:36 · 2407 阅读 · 0 评论 -
DataFrame高效处理行列数据/倒三角型数据/处理阶梯型数据/根据列的值确定行的值
在使用pandas处理数据时,遇到了一种要按照留存天数来处理的数据,当列所对应的日期超过了最晚的“今天”那么数据就要置为0原创 2022-10-31 23:39:20 · 523 阅读 · 0 评论 -
pandas处理日期的几种常用方法
1.读取字符串日期写入csv 文件 csv_text = """date, value2022-01-01, 12022-01-05, 52022-11-05, 5"""with open("date_text.csv", "w") as f: f.write(csv_text)读取日期df = pd.read_csv("date_text.csv")print(df)print(df.dtypes)输出 date value0 2022-原创 2021-11-28 16:10:18 · 9908 阅读 · 0 评论 -
解决dataframe中放到web返回中包含nan和inf导致json序列化报错的问题
实际上,与其做一些各种操作把nan、inf等不合法的字符替换(顺便可能带回一些副作用,比如数值列的nan是无法替换为None的),使用df的。等值,要放到json结构体中然后json序列化之后返回给web前端处理。你有个df,里面的数据可能包含。会在传到前端后会序列化失败。原创 2022-09-11 10:37:43 · 929 阅读 · 0 评论