
Pandas
记录使用Pandas过程中的一些东西. 官方文档地址:https://pandas.pydata.org/docs/user_guide/index.html
拾夕er
这个作者很懒,什么都没留下…
展开
-
【Pandas】通过字典构造DataFrame,解决numpy多维数组无法构造问题
文章目录1.需求2. 解决办法3.源数据4.构造4.1构造代码4.2构造结果4.3 拼接源数据1.需求⭐️ 在构造时间序列数据时,最后构造好的numpy时间序列数据,无法构造成DataFrame,报错2. 解决办法⭐️ 通过字典进行构造3.源数据⭐️ 以下是原始数据,总共112行4.构造4.1构造代码⭐️ 时间窗口设置为20,构造代码如下all_time_seq = e['time_seq'].valuesall_request_head_tokens = e['request_he原创 2022-04-07 18:29:23 · 2238 阅读 · 0 评论 -
【Pandas】groupby之后,多级列索引合并成一级
pandas groupby操作列名之后,多级索引合并成一级原创 2022-04-01 18:01:08 · 3012 阅读 · 0 评论 -
【Pandas】【碎碎念】 做切片操作,防止DataFrame对象转换为Series对象
1.转换为series对象的写法df1 = df.iloc[i,:].copy()结果:2. 转换为DataFrame对象的写法df1 = df.iloc[i : i+1,:].copy()结果:原创 2021-10-29 10:20:53 · 453 阅读 · 0 评论 -
【Pandas】【碎碎念】 数据list对象去重,转字符串
list对象去重,利用set方法去重rawIP['attack_mode_name_cn'].apply(set)去重后转换回list对象rawIP['attack_mode_name_cn'].apply(set).apply(list)去重后转字符串对象rawIP['attack_mode_name_cn'].apply(set).str.join(',')去重时,考虑list对象顺序rawIP['attack_mode_name_cn'].apply(lambda .原创 2021-10-28 17:46:42 · 919 阅读 · 0 评论 -
Pandas 根据指定列合并(聚合)数据,groupby()
聚合处理前的数据需求我要把相同模型的表现分数,求平均聚合到一起代码import pandasgroup = df1.groupby('Model').agg('mean')group聚合后效果原创 2021-09-30 18:18:02 · 1318 阅读 · 0 评论 -
Pandas读取所有的CSV文件,并拼接在一起
思路读取 ../../Data/ModelResult 目录下,所有的CSV文件对所有的文件进行遍历操作依次拼接所有文件需要的依赖包os: 用来找出指定文件夹下所有文件pandas:用来读取和拼接所有CSV文件代码import pandas as pdimport osfile_dir = '../../Data/ModelResult'files = os.listdir(file_dir)df1 = pd.read_csv(os.path.join(file_dir,原创 2021-09-30 18:01:42 · 5746 阅读 · 0 评论 -
Pandas按照行拼接数据
df1 = pd.read_csv('../Data/TotalResult.csv')print(df1.shape)df2 = pd.read_csv('../Data/TotalNagResult.csv')print(df2.shape)df3 = pd.concat((df1,df2),axis=0,join='inner')print(df3.shape)在这个函数中df3 = pd.concat((df1,df2),axis=0,join='inner'),axis=0,指定按行原创 2021-09-30 14:46:42 · 1909 阅读 · 0 评论 -
Python,Pandas读取nbjson格式的文件
使用ujson库 把nbjson格式映射为records使用pandas的read_records() 函数进行读取import pandas as pdimport ujson as jsonrecords = map(json.loads, open('./example.json'))raw = pd.DataFrame.from_records(records)raw.to_csv("./example.csv")...原创 2021-09-24 16:13:28 · 242 阅读 · 0 评论 -
Pands 通过lambda函数调用自定义函数并传参数
自定义函数,定义一个IP转换函数def IpConvert(ip): result = 0 IpArr = ip.split(".") for i, element in enumerate(IpArr): temp = bin(int(element, 10)) result = result + (int(temp, 2) << (3-i)*8) return result应用lambda转换函数dfDelSportAl原创 2021-09-24 12:22:27 · 359 阅读 · 0 评论