- 博客(21)
- 收藏
- 关注
RSS订阅原创 Python Pandas 提升运算速度
1.依次赋值和一次赋值（1）遍历columns name，用时0.75s df = pd.DataFrame(columns=['A','B','C','D','E']) start = time.time() for i in range(1000): num = i for col in df.columns: df.loc[i,col] = num num+=1 end = time
2021-07-30 14:35:36
404
原创 Pandas read_html()
想要每天获取网站表格的数据又懒得每天复制做表统计使用pandas 的 read_html()，简单好用。可以应用的场景为数据为表格，打开网站，使用开发者工具，点开element，然后搜索表格里的一个名词，就可找到表格数据所在位置。会有一个明显的table，数据格式非常整齐。记录一下read_html()的参数，1.io，io=url就可以了2.header，header可以是int，也可以是list，header默认是等于None的，读取出来的table的columns name就.
2021-07-19 10:12:04
3488
原创 Python DataFrame Shift函数
处理DataFrame序列可以用Shift函数，很快不用遍历。这里有一个DataFrame序列Shift(1)之后在同一Index下相当于取了前一天的数据，Shift之后的数据第一行空，缺失了最后一行的数据。Temp2=Temp.shift(1)相减得到今高减昨高，对于基础单元的计算可以省力很多。Temp.High-Temp.High.shift(1)...
2021-06-25 14:31:56
1453
原创 Python路径
建立文件夹Path_Test路径下建立两个文件夹：Code，Dir1Code：存放代码Dir1：存放读写文件1.绝对路径：直接复制绝对路径会报错：(unicode error) 'unicodeescape' codec can't decode bytes in position 2-3: truncated \UXXXXXXXX escapepath = 'C:\Users\Administrator\Desktop\Path_Test\Dir1'因为'\'和其它字母组
2021-04-21 13:36:56
414
1
原创 判断任意类型数据是不是nan
在处理Excel数据的时候可能存在许多空白，对于空白是不处理的，但是空白列不一定是数字，出现一个问题判断一个不清楚类型的数据是不是空白首先使用numpy判断一个数字是不是nan：# 判断一个数字是不是nan，结果是Falsenp.isnan(10)Out: False# 判断nan是不是nan，结果Truenp.isnan(np.nan)Out: True使用numpy判断一个字符串是不是nan：会报异常np.isnan('优快云')Traceback (mos.
2021-03-31 15:34:34
540
原创 选取DataFrame的某几列
全数据：Position.head(5)Out[41]: date AL AU C ... TA V ZC ZN0 2014-01-28 -14.766394 0.0 0.000000 ... 0.000000 0.000000 0.0 0.01 2014-01-29 -14.766394 0.0 0.000000 ... 0.000000 0.00000
2021-03-17 13:47:29
19200
1
原创 Liunx服务器部署程序
Linux命令 -V 获取版本号查询python版本号：python -Vpython3 -V安装pip3更新pip3安装 lrzszsudo apt-get install lrzszPutty不支持这个东西
2020-06-23 18:04:14
100
原创 连接AWS服务器
选择一个免费的ubuntu系统免费的配置出入站规则，ALLLaunch，选择密钥对Running打开PuttyHost Name:ubuntu@+Public DNS(IPV4)选择本地密钥Open，完成需要获得root权限，卸载重安的时候也需要有root权限。安装脚本，复制下面命令：wget -N --no-check-certificate https://raw.githubusercontent.com/ToyoDA...
2020-06-23 13:08:43
979
原创 python 队列
from queue import Queue#设置队列上限q=Queue(maxsize=5)#新进队列q.put(0)q.put(1)q.put(2)q.put(3)q.put(4)#输出所有队列q.queue
2020-05-19 18:46:34
158
原创 DataFrame 选取以时间为index的数据
很多数据是以Timestamp为index的。 open close diff2010-01-04 11.48 11.29 02010-01-05 11.28 11.07 02010-01-06 11.10 11.46 02010-01-07 11.48 11.07 02010-01-08 11.00 ...
2020-04-06 20:29:40
7373
1
原创 python List 排序问题
list.sort()方法.List2=[3,7,8,6]#由低到高List2.sort()List2Out[17]: [3, 6, 7, 8]#由高到低List2.sort(reverse=True)List2Out[19]: [8, 7, 6, 3]二维列表指定列排序：List1=[[1,3.9],[0,7.6],[3,5.4]]默认第一列：...
2020-03-17 21:18:06
163
原创 Python 找出两个列表中相同和不同的元素
相同：List1=[1,2,3,4]List2=[2,3,4,5]a=[x for x in List1 if x in List2]aOut[76]: [2, 3, 4]不同：b = [y for y in (List1 + List2) if y not in a]bOut[78]: [1, 5]找出既在List1中又在List2中的：d=[...
2020-03-15 01:44:14
5452
2
原创 Python logger重复打印问题
Python logger重复打印是因为每次程序初始化的时候都会添加一个handler。对应的处理方法有两种：1.在初始化的时候，如果已经有了handler就不要再添加handler:if not logger.handlers: # 将两个句柄绑定到logger logger.addHandler(fh) logger.addHandler(sh)...
2020-03-14 13:56:04
1241
原创 Pandas 遍历 Dataframe 的三种方式
参考：https://blog.youkuaiyun.com/sinat_29675423/article/details/87972498初始Dataframe：Position Flag Open Close Position0 No None None 1001 No None None 02 No None None ...
2020-03-14 13:32:14
1330
原创 pandas筛选完数据之后如何直接调用选定数值
初始化一个Dataframe:import pandas as pdList=[[1,2,3,4],[5,6,7,8],[9,10,11,12]]A=pd.DataFrame(List,columns=['A','B','C','D'])#Out: A B C D0 1 2 3 41 5 6 7 82 9 10 11 12...
2020-03-05 15:14:58
477
原创 pandas按行遍历Dataframe，iterrows()方法
初始化一个Dataframeimport pandas as pdList=[['Yes', None, None, None], [None, None, None, None], ['Yes', None, None, None], [None, None, None, None]]df=pd.DataFrame(List,columns=['A','B','C','D']...
2020-03-04 15:39:52
5326
原创 python使用pandas统计二维列表中某个元素在某一列中出现的次数，提取某元素出现的行，重置索引列，给原变量赋值
import pandas as pdList=[['Yes', None, None, None], [None, None, None, None], ['Yes', None, None, None], [None, None, None, None]]df=pd.DataFrame(List,columns=['A','B','C','D']) #加filtertem...
2020-03-03 21:02:45
3363
原创 python如何初始化一个列表（一维，二维）
首先是初始化一个一维列表：List=[None,None,None,None]或者，List=[None]*4效果和上面一样。List=[None]List=List*4列表初始化如果对一个列表*N，效果是一维扩展。接着是初始化一个二维列表：如何扩展维度，表示把某一个列表作为一行，多扩展出几行？在外面套一层括号[ ]List=[None] ...
2020-03-03 19:24:15
3569
原创 csv转dataframe格式如何去掉第一列
方法一：给第一列改了名字之后，再存回csv就会多出一列。df=pd.read_csv('data.csv',index_col=0)df.head(5)把多的这一列作为索引就ok了。方法二：在存csv的时候就避免这个问题，不要加索引。df.to_csv('data.csv',encoding='utf-8',index=False)参考：https:/...
2020-03-01 19:54:58
13331
原创 Dataframe格式修改列名
在dataframe转csv，然后再转回来，发现第一列没有命名。如何修改第一列的列名？新建一个字典。new_dic={'Unnamed: 0':'date','close':'close'}df.rename(columns=new_dic, inplace=True)df.columns完成。...
2020-03-01 19:42:03
1143
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人