Python pandas 对DataFrame进行遍历(持续更新)

本文介绍了Pandas库中DataFrame对象的三种迭代器方法:items、iterrows和itertuples,分别用于按列、按行遍历并操作数据,以及zip方法用于选取特定行或列的遍历。作者强调了这些方法在不同场景下的适用性,并提示读者注意可能的错误和优化建议。

  • 三种用迭代器的方法(items,iterrows,itertuples):沿着行/列对所有元素遍历,适合对每个元素进行操作
  • 简单dolumns,loc遍历:遍历每一行/列,适合对每行/列进行求和、离散等整体操作
  • for+zip: 适合选取较少的特定行/列进行操作

       之后看到其他好用方法,或者合适的拓展也会继续更新

        有错误请指正,欢迎评论建议

items,iterrows,itertuples:

  • items(): 以 (列名, Series) 对的形式遍历 DataFrame 的列。

    函数原型:DataFrame.iteritems(None)

    返回:返回一个迭代器,产生 (列名,列内容Series) 对的元组。

        

import pandas as pd

data = {'A': [1, 2, 3], 'B': [4, 5, 6]}
df = pd.DataFrame(data)

for column, series in df.items():
    print(f"Column: {column}")
    print(f"Series:\n{series}\n")

输出:

  • iterrows():以 (行下标, Series) 对的形式遍历 DataFrame 的行。

        原型:DataFrame.iterrows()

        返回:返回迭代器(行号index,行内数据Series)

import pandas as pd

data = {'A': [1, 2,], 'B': [4, 5,]}
df = pd.DataFrame(data)

for index, row in df.iterrows():
    # 处理每一行的逻辑
    print(f"row_index: {index}")
    print(f"eow_items\n:{row}\n")

输出:

 

  • itertuples():以命名元组的方式遍历行

        函数原型:DataFrame.itertuples(index=Truename='Pandas')

                        index: True则返回的tuple中首个元素为行号

                        name: 字符串或者None,作为返回的tuple的名字,如果为None则返回常规tuple

        返回:一个迭代器,每一行的命名元组(name,row_values)

import pandas as pd
data = {'A': [1, 2,], 'B': [4, 5,]}
df = pd.DataFrame(data)

###1.默认
for row in df.itertuple():
    print(row)

'''输出
Pandas(Index=0, A=1, B=4)
Pandas(Index=1, A=2, B=5)
'''
###


##2.不输出index
for row in df.itertuples(index=False):
    print(row)

'''输出
Pandas(A=1, B=4)
Pandas(A=2, B=5)
'''
###


##3. 输出常规tuple
for row in df.itertuples(name=None):
    print(row)

'''输出
(0, 1, 4)
(1, 2, 5)
'''

 columns+values,index

  • columns:获取dataframe的列标签

        返回:<class 'pandas.core.indexes.base.Index'> (不重要,理解为列标签,获取到列名和数据类型,但无法直接进行操作)

         如果想要获取列标签的数组,可以用df.columns.values,想得到list类型就加上tolist()

import pandas as pd

data = {'A': [1, 2,], 'B': [4, 5,],'C':[6,7]}
df = pd.DataFrame(data)

print('column names and type: ',df.columns)
'''
输出:
column names and type:  Index(['A', 'B', 'C'], dtype='object')
'''

print('column name: ',df.columns.values)#数组类型。
'''
输出:
column name:  ['A' 'B' 'C']
'''
print('column name: ',df.columns.tolist())#等同于list(df.columns)
print('column name: ',list(df))
print('column name: ',list(df.columns))
'''
以上三种均输出
column name:  ['A', 'B', 'C']
'''
  • index:DataFrame的索引标签

        和columns类似,在这里就不赘述了。

        对每行/每列进行某操作时,常用这两个方法。但是很多时候可以被df.apply(function,axis=0)替代(axis默认为0,0沿着列操作,1沿着行操作)

import pandas as pd

data = {'A': [1, 2,], 'B': [4, 5,],'C':[6,7]}
df = pd.DataFrame(data)
# 使用 columns 遍历 DataFrame 的列名
print("columns:")
for column in df.columns:
    print(column)
'''输出
columns:
A
B
C
'''

# 使用 index 遍历 DataFrame 的行索引
print("\nindexs:")
for index in df.index:
    print(index)
'''输出
indexs:
0
1
'''

for+zip:取特定几列/行遍历

这个方法很简单,运行效率高。但是只适用于对特定几行/列遍历,如果列或行较多的时候书写很繁琐,且可能因个人粗心原因出错。

import pandas as pd
data = {'A': [1, 2,], 'B': [4, 5,],'C':[6,7]}
df = pd.DataFrame(data)

#对特定几列遍历
#for a,b,c in zip([df[col] for col in df.columns])
for a,b in zip(df['A'],df['B']):
    print('a: ',a,' b:',b)
'''输出
a:  1  b: 4
a:  2  b: 5
'''


#对特定几行遍历
for row1,row2 in zip(df.iloc[0],df.iloc[1]):#如果时标签索引则用df.loc['RowName']
    print('row1: ',row1,' row2:' ,row2)
'''输出
row1:  1  row2: 2
row1:  4  row2: 5
row1:  6  row2: 7
'''

<think>我们被要求遍历Pandas DataFrame的行或列。根据引用[3]中的内容,我们知道可以使用`itertuples()`方法来按行迭代。此外,Pandas还提供了其他方法如`iterrows()`,但通常`itertuples()`更快。 同时,我们也可以遍历列,因为DataFrame的列是带有标签的,我们可以直接迭代列名,然后通过列名访问每一列。 因此,我们将分为两部分: 1. 遍历行 2. 遍历列 注意:在遍历DataFrame时,通常不推荐使用循环,因为Pandas的向量化操作更高效。但在某些场景下,遍历是必要的。 我们将提供以下方法: 遍历行: - 使用`df.iterrows()`:返回索引和行数据(作为Series) - 使用`df.itertuples()`:返回一个命名元组,更高效 遍历列: - 直接遍历`df.columns`,然后通过列名访问列 - 使用`df.items()`:返回列名和该列的Series 注意:引用[3]中给出了`itertuples()`的例子,我们将参考它。 下面给出具体代码示例。</think>在 Pandas遍历 DataFrame 的行或列有多种高效方法,以下是主要技术方案: ### 一、遍历 DataFrame 行(行迭代) #### 1. **`itertuples()` 方法(最高效)** 返回命名元组,速度最快且内存效率高: ```python import pandas as pd df = pd.DataFrame({ 'Name': ['Alice', 'Bob', 'Aritra'], 'Age': [25, 30, 35], 'Location': ['Seattle', 'New York', 'Kona'] }, index=[10, 20, 30]) for row in df.itertuples(): print(f"Index: {row.Index}, Name: {row.Name}, Age: {row.Age}") ``` **优点**:性能最佳,支持属性访问(如 `row.Name`)[^3] #### 2. **`iterrows()` 方法** 返回 (index, Series) 对: ```python for index, row in df.iterrows(): print(f"Index: {index}, Name: {row['Name']}, Age: {row['Age']}") ``` **注意**:返回的 `row` 是副本而非视图,修改不影响原数据 #### 3. **`apply()` 函数(函数式迭代)** 结合 lambda 函数按行处理: ```python def process_row(row): return f"{row['Name']} in {row['Location']}" df['Info'] = df.apply(process_row, axis=1) # axis=1 表示行方向 ``` --- ### 二、遍历 DataFrame 列(列迭代) #### 1. **直接遍历列名** ```python for column in df.columns: print(f"Column: {column}") print(f"Values: {df[column].values}") # 访问列数据 ``` #### 2. **`items()` 方法(列迭代器)** 返回 (列名, Series) 对: ```python for col_name, data in df.items(): print(f"Column: {col_name}") print(f"First value: {data.iloc[0]}") # 访问列数据 ``` #### 3. **`iteritems()` 方法(Pandas 旧版本)** ```python for col_name, data in df.iteritems(): # 同 items() print(f"Column: {col_name}") ``` --- ### 三、性能比较与选择建议 | 方法 | 适用场景 | 性能 | 内存效率 | |---------------|----------------------------|--------|---------| | `itertuples()`| 行遍历(需高性能) | ★★★★★ | 高 | | `iterrows()` | 行遍历(需索引) | ★★☆ | 中 | | `apply()` | 行/列函数式处理 | ★★★☆ | 高 | | `items()` | 列遍历 | ★★★★☆ | 高 | > **最佳实践**:优先使用向量化操作(避免显式循环),必须循环时: > - 行遍历:用 `itertuples()` > - 列遍历:用 `items()` --- ### 四、高级技巧:向量化替代方案 多数场景可用内置函数替代循环: ```python # 替代行遍历的向量化操作 df['Age_Next_Year'] = df['Age'] + 1 # 所有行年龄+1 # 替代列遍历的向量化操作 df = df.rename(columns=str.upper) # 所有列名转大写 ``` 向量化操作速度比循环快 $10\sim100$ 倍[^3][^4]。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值