Pandas数据操作详解-总结

数据分析 — Pandas 数据处理 Pandas(Python Data Analysis Library)是一个基于 NumPy 的数据分析工具,专为解决数据分析任务而创建。它汇集了大量库和一些标准的数据模型,可以更高效地操作大型数据集。 阅读详情

pandas简介

pandas 是基于NumPy 的一种工具,该工具是为解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型,提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。pandas 是 Python 的核心数据分析支持库,提供了快速、灵活、明确的数据结构,旨在简单、直观地处理关系型、标记型数据。

1.数据读取

首先,pip install pandas 安装Pandas库。

引用pandas库,通常简称为pd,如下:

import pandas as pd

1.1获取样本数据-以波士顿房价数据为例

从sklearn.datasets数据集中下载波士顿房价数据:

from sklearn.datasets import load_boston
boston = load_boston()
# 输出对boston数据集的描述
print("波士顿房价的数据集描述是\n", boston.DESCR)

运行结果:

波士顿房价的数据集描述是
 .. _boston_dataset:

Boston house prices dataset
---------------------------
**Data Set Characteristics:**  

    :Number of Instances: 506 
    :Number of Attributes: 13 numeric/categorical predictive. Median Value (attribute 14) is usually the target.
    :Attribute Information (in order):
        - CRIM     per capita crime rate by town
        - ZN       proportion of residential land zoned for lots over 25,000 sq.ft.
        - INDUS    proportion of non-retail business acres per town
        - CHAS     Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)
        - NOX      nitric oxides concentration (parts per 10 million)
        - RM       average number of rooms per dwelling
        - AGE      proportion of owner-occupied units built prior to 1940
        - DIS      weighted distances to five Boston employment centres
        - RAD      index of accessibility to radial highways
        - TAX      full-value property-tax rate per $10,000
        - PTRATIO  pupil-teacher ratio by town
        - B        1000(Bk - 0.63)^2 where Bk is the proportion of black people by town
        - LSTAT    % lower status of the population
        - MEDV     Median value of owner-occupied homes in $1000's
    :Missing Attribute Values: None
    :Creator: Harrison, D. and Rubinfeld, D.L.

This is a copy of UCI ML housing dataset.
https://archive.ics.uci.edu/ml/machine-learning-databases/housing/

This dataset was taken from the StatLib library which is maintained at Carnegie Mellon University.
The Boston house-price data of Harrison, D. and Rubinfeld, D.L. 'Hedonic
prices and the demand for clean air', J. Environ. Economics & Management,
vol.5, 81-102, 1978.   Used in Belsley, Kuh & Welsch, 'Regression diagnostics
...', Wiley, 1980.   N.B. Various transformations are used in the table on
pages 244-261 of the latter.

The Boston house-price data has been used in many machine learning papers that address regression
problems.   
     
.. topic:: References

   - Belsley, Kuh & Welsch, 'Regression diagnostics: Identifying Influential Data and Sources of Collinearity', Wiley, 1980. 244-261.
   - Quinlan,R. (1993). Combining Instance-Based and Model-Based Learning. In Proceedings on the Tenth International Conference of Machine Learning, 236-243, University of Massachusetts, Amherst. Morgan Kaufmann.

波士顿房价数据集的特征共有14种,分别是CRIM(城镇人均犯罪率)、ZN(占地面积超过25000平方英尺的住宅用地比例)、INDUS(非零售商业用地占比)、CHAS(是否临河)、NOX(氮氧化物浓度)、RM(房屋房间数)、AGE(房屋年龄)、DIS(和就业中心的距离)、RAD(是否容易上高速路)、TAX(税率)、PTRATTO(学生人数比老师人数)、B(城镇黑人比例计算的统计值)、LSTAT(低收入人群比例)和MEDV(房价中位数)。原文链接:https://blog.youkuaiyun.com/f18896984569/article/details/127759937。

这个数据下载到哪里了呢?我们可以通过打印boston获取位置信息(print(boston)),这里列出部分信息:位置在:D:\\pythonProject\\venv\\lib\\site-packages\\sklearn\\datasets\\data\\boston_house_prices.csv

 per $10,000\n        - PTRATIO  pupil-teacher ratio by town\n        - B        1000(Bk - 0.63)^2 where Bk is the proportion of black people by town\n        - LSTAT    % lower status of the population\n        - MEDV     Median value of owner-occupied homes in $1000's\n\n    :Missing Attribute Values: None\n\n    :Creator: Harrison, D. and Rubinfeld, D.L.\n\nThis is a copy of UCI ML housing dataset.\nhttps://archive.ics.uci.edu/ml/machine-learning-databases/housing/\n\n\nThis dataset was taken from the StatLib library which is maintained at Carnegie Mellon University.\n\nThe Boston house-price data of Harrison, D. and Rubinfeld, D.L. 'Hedonic\nprices and the demand for clean air', J. Environ. Economics & Management,\nvol.5, 81-102, 1978.   Used in Belsley, Kuh & Welsch, 'Regression diagnostics\n...', Wiley, 1980.   N.B. Various transformations are used in the table on\npages 244-261 of the latter.\n\nThe Boston house-price data has been used in many machine learning papers that address regression\nproblems.   \n     \n.. topic:: References\n\n   - Belsley, Kuh & Welsch, 'Regression diagnostics: Identifying Influential Data and Sources of Collinearity', Wiley, 1980. 244-261.\n   - Quinlan,R. (1993). Combining Instance-Based and Model-Based Learning. In Proceedings on the Tenth International Conference of Machine Learning, 236-243, University of Massachusetts, Amherst. Morgan Kaufmann.\n", 'filename': 'D:\\pythonProject\\venv\\lib\\site-packages\\sklearn\\datasets\\data\\boston_house_prices.csv'}

Process finished with exit code 0

我们打开路径可以看到:

显示时间不是当前时间,说明之前已经下载过。

打开数据如下,显示前面11行:

CRIM

ZN

INDUS

CHAS

NOX

RM

AGE

DIS

RAD

TAX

PTRATIO

B

LSTAT

MEDV

0.00632

18

2.31

0

0.538

6.575

65.2

4.09

1

296

15.3

396.9

4.98

24

0.02731

0

7.07

0

0.469

6.421

78.9

4.9671

2

242

17.8

396.9

9.14

21.6

0.02729

0

7.07

0

0.469

7.185

61.1

4.9671

2

242

17.8

392.83

4.03

34.7

0.03237

0

2.18

0

0.458

6.998

45.8

6.0622

3

222

18.7

394.63

2.94

33.4

0.06905

0

2.18

0

0.458

7.147

54.2

6.0622

3

222

18.7

396.9

5.33

36.2

0.02985

0

2.18

0

0.458

6.43

58.7

6.0622

3

222

18.7

394.12

5.21

28.7

0.08829

12.5

7.87

0

0.524

6.012

66.6

5.5605

5

311

15.2

395.6

12.43

22.9

0.14455

12.5

7.87

0

0.524

6.172

96.1

5.9505

5

311

15.2

396.9

19.15

27.1

0.21124

12.5

7.87

0

0.524

5.631

100

6.0821

5

311

15.2

386.63

29.93

16.5

0.17004

12.5

7.87

0

0.524

6.004

85.9

6.5921

5

311

15.2

386.71

17.1

18.9

0.22489

12.5

7.87

0

0.524

6.377

94.3

6.3467

5

311

15.2

392.52

20.45

15

第一行显示数据有506行记录,13个变量,最后一列为房价中位数。我们将第一行删除掉便于数据操作。把文件复制到当前路径下与操作,另存为一份Excel格式。

excel文件读取

def read_excel(io: {engine, parse},
               sheet_name: int = 0,
               header: int = 0,
               names: Any = None,
               index_col: Any = None,
               usecols: Any = None,
               squeeze: bool = False,
               dtype: Any = None,
               engine: {__ne__} = None,
               converters: Any = None,
               true_values: Any = None,
               false_values: Any = None,
               skiprows: Any = None,
               nrows: Any = None,
               na_values: Any = None,
               keep_default_na: bool = True,
               na_filter: bool = True,
               verbose: bool = False,
               parse_dates: bool = False,
               date_parser: Any = None,
               thousands: Any = None,
               comment: Any = None,
               skipfooter: int = 0,
               convert_float: bool = True,
               mangle_dupe_cols: bool = True,
               storage_options: Optional[Dict[str, Any]] = None)

示例:读取excel文件数据,默认读取所有数据:

df=pd.read_excel('boston_house_prices.xls')
print(df)

csv文件读取

read_csv函数中参数更多:

def read_csv(filepath_or_buffer: PathLike[str],
             sep: Any = lib.no_default,
             delimiter: Any = None,
             header: str = "infer",
             names: Any = None,
             index_col: Any = None,
             usecols: Any = None,
             squeeze: bool = False,
             prefix: Any = None,
             mangle_dupe_cols: bool = True,
             dtype: Any = None,
             engine: Any = None,
             converters: Any = None,
             true_values: Any = None,
             false_values: Any = None,
             skipinitialspace: bool = False,
             skiprows: Any = None,
             skipfooter: int = 0,
             nrows: Any = None,
             na_values: Any = None,
             keep_default_na: bool = True,
             na_filter: bool = True,
             verbose: bool = False,
             skip_blank_lines: bool = True,
             parse_dates: bool = False,
             infer_datetime_format: bool = False,
             keep_date_col: bool = False,
             date_parser: Any = None,
             dayfirst: bool = False,
             cache_dates: bool = True,
             iterator: bool = False,
             chunksize: Any = None,
             compression: str = "infer",
             thousands: Any = None,
             decimal: str = ".",
             lineterminator: Any = None,
             quotechar: str = '\"',
             quoting: int = csv.QUOTE_MINIMAL,
             doublequote: bool = True,
             escapechar: Any = None,
             comment: Any = None,
             encoding: Any = None,
             dialect: Any = None,
             error_bad_lines: bool = True,
             warn_bad_lines: bool = True,
             delim_whitespace: bool = False,
             low_memory: Optional[bool] = _c_parser_defaults["low_memory"],
             memory_map: bool = False,
             float_precision: Any = None,
             storage_options: Optional[Dict[str, Any]] = None)

示例:读取csv数据,默认读取前5行:

df = pd.read_csv(
    # 该参数为数据在电脑中的路径,可以不填写
    filepath_or_buffer='boston_house_prices.csv',
    # 该参数代表数据的分隔符,csv文件默认是逗号。其他常见的是'\t'
    sep=',',
    # 该参数代表跳过数据文件的的第1行不读入
    # skiprows=1,
    # nrows,只读取前n行数据,若不指定,读入全部的数据
    nrows=5,
)

2.数据保存

excel文件保存,需要import xlwt

df.to_excel('boston_part.xls')

csv文件保存

df.to_csv('boston_part.csv')

3.数据指定位置读取与切片

可通过iloc方法来实现

newdf=df.iloc[:,:] ,索引从0开始

示例:读取指定位置数据,比如第5行第5列数据

df = pd.read_csv('boston_house_prices.csv')
df=df.iloc[4,4]

读取5行5列数据:

df = pd.read_csv('boston_house_prices.csv')
df=df.iloc[:5,:5]
print(df)

结果如下:

      CRIM    ZN  INDUS  CHAS    NOX
0  0.00632  18.0   2.31     0  0.538
1  0.02731   0.0   7.07     0  0.469
2  0.02729   0.0   7.07     0  0.469
3  0.03237   0.0   2.18     0  0.458
4  0.06905   0.0   2.18     0  0.458

读取指定位置5行数据所有列:

df = pd.read_csv('boston_house_prices.csv')
df=df.iloc[10:15,:]
print(df)

运行结果:

       CRIM    ZN  INDUS  CHAS    NOX  ...  TAX  PTRATIO       B  LSTAT  MEDV
10  0.22489  12.5   7.87     0  0.524  ...  311     15.2  392.52  20.45  15.0
11  0.11747  12.5   7.87     0  0.524  ...  311     15.2  396.90  13.27  18.9
12  0.09378  12.5   7.87     0  0.524  ...  311     15.2  390.50  15.71  21.7
13  0.62976   0.0   8.14     0  0.538  ...  307     21.0  396.90   8.26  20.4
14  0.63796   0.0   8.14     0  0.538  ...  307     21.0  380.02  10.26  18.2

同样的,读取指定列所有行也是一样的。

4.数据合并连接

pd.concat([df1,df2],axis=1) 横向合并数据

df = pd.read_csv('boston_house_prices.csv')
df1=df.iloc[:,:13]
df2=df.iloc[:,13]
print(df1,df2)
df3=pd.concat([df1,df2],axis=1)
print(df3)

纵向合并数据:

df = pd.read_csv('boston_house_prices.csv')
df1=df.iloc[:5,:]
df2=df.iloc[5:10,:]
print(df1,df2)
df3=pd.concat([df1,df2],axis=0)
print(df3)

5.根据条件读取数据

只选择中位数房价大于30的数据。df['MEDV']>30

df = pd.read_csv('boston_house_prices.csv')
df=df[df['MEDV']>30]
print(df)

6.根据条件删除数据

删除房价大于30的数据:

indexname=df[df['MEDV']>30].index
df.drop(index,Inplace=True)

7.统计函数

df = pd.read_csv('boston_house_prices.csv')
print(df['MEDV'].mean())  # 求一整列的均值,返回一个数。会自动排除空值。
print(df[['MEDV', 'LSTAT']].mean())  # 求两列的均值,返回两个数,Series
print(df[['MEDV', 'LSTAT']])
print(df[['MEDV', 'LSTAT']].mean(axis=1))  # 求两列的均值,返回DataFrame。axis=0或者1要搞清楚。
#axis=1,代表对整几列进行操作。axis=0(默认)代表对几行进行操作。实际中弄混很正常,到时候试一下就知道了。
print(df['MEDV'].max())  # 最大值
print(df['MEDV'].min())  # 最小值
print(df['MEDV'].std())  # 标准差
print(df['MEDV'].count())  # 非空的数据的数量
print(df['MEDV'].median())  # 中位数
print(df['MEDV'].quantile(0.25))  # 25%分位数

8.数据排序

8.1 按索引排序

函数:sort_index()是 pandas 中按索引排序的函数,默认情况下, sort_index 是按行索引升序排序。

df = pd.read_csv('boston_house_prices.csv',nrows=5,
                  index_col=['CRIM'],#设置该属性为索引列
                  usecols = ['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS'])
print(df)
df1=df.sort_index()
print('sort_index:')
print(df1)

运行结果:

         ZN  INDUS  CHAS    NOX     RM   AGE     DIS
CRIM                                                
0.00632  18   2.31     0  0.538  6.575  65.2  4.0900
0.02731   0   7.07     0  0.469  6.421  78.9  4.9671
0.02729   0   7.07     0  0.469  7.185  61.1  4.9671
0.03237   0   2.18     0  0.458  6.998  45.8  6.0622
0.06905   0   2.18     0  0.458  7.147  54.2  6.0622
sort_index:
         ZN  INDUS  CHAS    NOX     RM   AGE     DIS
CRIM                                                
0.00632  18   2.31     0  0.538  6.575  65.2  4.0900
0.02729   0   7.07     0  0.469  7.185  61.1  4.9671
0.02731   0   7.07     0  0.469  6.421  78.9  4.9671
0.03237   0   2.18     0  0.458  6.998  45.8  6.0622
0.06905   0   2.18     0  0.458  7.147  54.2  6.0622

默认索引就是从小到达排序的.我们反序排列:

df = pd.read_csv('boston_house_prices.csv',nrows=5,
                  index_col=['CRIM'],
                  usecols = ['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS'])
print(df)
df1=df.sort_index(ascending=False)
print('sort_index:')
print(df1)
         ZN  INDUS  CHAS    NOX     RM   AGE     DIS
CRIM                                                
0.00632  18   2.31     0  0.538  6.575  65.2  4.0900
0.02731   0   7.07     0  0.469  6.421  78.9  4.9671
0.02729   0   7.07     0  0.469  7.185  61.1  4.9671
0.03237   0   2.18     0  0.458  6.998  45.8  6.0622
0.06905   0   2.18     0  0.458  7.147  54.2  6.0622
sort_index:
         ZN  INDUS  CHAS    NOX     RM   AGE     DIS
CRIM                                                
0.06905   0   2.18     0  0.458  7.147  54.2  6.0622
0.03237   0   2.18     0  0.458  6.998  45.8  6.0622
0.02731   0   7.07     0  0.469  6.421  78.9  4.9671
0.02729   0   7.07     0  0.469  7.185  61.1  4.9671
0.00632  18   2.31     0  0.538  6.575  65.2  4.0900

8.2按数值排序

sort_values() 中设置单个列的列名称,可以对单个列进行排序,通过设置参数 ascending 可以设置升序或降序排列,默认升序排序。

df = pd.read_csv('boston_house_prices.csv',nrows=5,
                  index_col=['CRIM'],
                  usecols = ['CRIM', 'ZN', 'INDUS', 'CHAS', 'NOX', 'RM', 'AGE', 'DIS'])
print(df)
df1=df.sort_values('NOX')
print('sort_values:')
print(df1)
         ZN  INDUS  CHAS    NOX     RM   AGE     DIS
CRIM                                                
0.00632  18   2.31     0  0.538  6.575  65.2  4.0900
0.02731   0   7.07     0  0.469  6.421  78.9  4.9671
0.02729   0   7.07     0  0.469  7.185  61.1  4.9671
0.03237   0   2.18     0  0.458  6.998  45.8  6.0622
0.06905   0   2.18     0  0.458  7.147  54.2  6.0622
sort_values:
         ZN  INDUS  CHAS    NOX     RM   AGE     DIS
CRIM                                                
0.03237   0   2.18     0  0.458  6.998  45.8  6.0622
0.06905   0   2.18     0  0.458  7.147  54.2  6.0622
0.02731   0   7.07     0  0.469  6.421  78.9  4.9671
0.02729   0   7.07     0  0.469  7.185  61.1  4.9671
0.00632  18   2.31     0  0.538  6.575  65.2  4.0900

9.修改数值

根据条件修改某个指定字段的数值。

df1.loc[df1["NOX"]>0.50,"DIS"] = 0  #NOX大于0.50的数据0修改为0

pandas DataFrame Series数据操作总结 pandas库是一个专门为数据分析创建的库函数,分为DataFrame和Series两类数据的操作。 DataFrame可是视为二维矩阵+label;Series可以视为列+label 因此,所有的函数都是围绕数据+label展开的。 1、Series相关操作 Series是什么?其实就是值+索引的形式,和字典很像。因此,所有操作其实都是对值和索引的引申。 1.1、 Series创建 ... 阅读详情

相关推荐

2025——》from pandas import Series/如何使用pandas中的Series进行数据操作?

在 Python 中,from pandas import Series 是直接导入 pandas 库中 Series 类 的语句,用于创建一维带标签的数据结构。在 pandas 中,Series 是一维带标签的数组,可存储任意数据类型(整数、字符串、浮点数等)。通过以上方法,你可以灵活使用 pandas 的Series进行数据处理、分析和可视化。实际应用中,Series常作为DataFrame的列使用,建议结合DataFrame的操作一起学习。

weixin_68013600的博客 1234

Pandas基本操作教程

导入数据 df= pd.read_csv( #该参数是数据在电脑里的路径,可以不填 filepath_or_buffer = r"c:\Users\win 10\Desktop\sz000002.csv", #该参数代表数据的分隔符,csv文件默认为逗号,其他常见的"\t" sep= ',', #该参数代表跳过数据文件的第一行不读 skiprows ....................

qq_43283527的博客 1万+

Python机器学习006:波士顿房价数据集

1、波士顿房价数据集概述 机器学习包sklearn中集成了各种各样的数据集,其中就包括波士顿房价数据集(boston_house_prices)是最简单的回归任务数据集之一。 该数据集共有506条波士顿房价的数据,每条数据包括14项特征,分别是房屋的13项数值型特征和1项目标特征:房价。此外,该数据中没有缺失的 属性/特征值,更加方便了后续的分析 该数据集特征含义如下表: 列名 说明 类型 CRIM 城镇人均犯罪率 float ZN 住宅用地超过 25000 sq.ft. 的比例 flo

若北辰 7130

python 使用张量进行线性回归 (带绘图)

1.生成数据集根据带有噪声的线性模型生成一个含有1000个样本的数据集,每个样本包含从标准正态分布中采样的2个特征,使用线性模型参数w=[2,-3.4]T,b=4.2和噪声项e生成数据集及其标签: y=Xw+b+e,将e视为模型预测和标签时的潜在观测误差,其中e服从均值为0且标准差为0.01的正态分布。定义函数synthetic_data(w, b, num_examples)生成数据集x与y,其中w、b 与num_examples分别为权值﹑阈值与样本个数。2.读取数据集。

i道i的博客 2162

11、Pandas数据操作与缺失值处理

本文详细介绍了Pandas在数据操作和缺失值处理方面的核心功能。内容涵盖Pandas中通用函数(Ufuncs)的使用、索引保留与对齐机制、Python运算符与Pandas方法的映射关系,以及DataFrame与Series之间的操作方式。缺失值处理部分深入探讨了NaN和None的使用、空值的检测、删除和填充方法,并提供了处理缺失数据的流程图与实用建议。最后通过一个综合示例展示了如何在实际场景中结合数据操作与缺失值处理。适合数据分析初学者和Pandas用户参考学习。

c7d8e的博客 141

Pandas与NumPy在数据操作中的应用

本文主要介绍了Pandas和NumPy这两个Python库在数据操作和分析中的强大功能。Pandas提供了Series和DataFrame两种数据结构,能够高效处理结构化数据,而NumPy则是处理多维数组和矩阵的基础库。文章通过实例代码展示了如何使用这些库创建和操作数据结构,以及如何进行数组操作和切片技术。

weixin_42601134的博客 707

Pandas 中的数据操作

NumPy 的核心优势之一在于支持快速执行逐元素操作(element-wise operations),涵盖基础算术运算(加、减、乘等)及复杂运算(三角函数、指数与对数函数等)。

Humbunklung的专栏 1449

Boston Housing Price.csv

Boston房产价格数据集,总共有14个字段,分别为CRIM、ZN、INDUS、CHAS、NOX、RM、AGE、DIS、RAD、TAX、PTRATIO、B、LSTAT和MEDV。其中,前13个字段是对某一个房产的描述信息,最后一个是平均房产价格。 字段解释: CRIM per capita crime rate by town ZN proportion of residential land zoned for lots over 25,000 sq.ft. INDUS proportion of non-retail business acres per town CHAS Charles River dummy variable (= 1 if tract bounds river; 0 otherwise) NOX nitric oxides concentration (parts per 10 million) RM average number of rooms per dwelling AGE proportion of owner-occupied units built prior to 1940 DIS weighted distances to five Boston employment centres RAD index of accessibility to radial highways TAX full-value property-tax rate per $10,000 PTRATIO pupil-teacher ratio by town B 1000(Bk - 0.63)^2 where Bk is the proportion of blacks by town LSTAT % lower status of the population MEDV Median value of owner-occupied homes in $1000's

5.Pandas :DataFrame 的使用——数据操作

一导入 Pandas一导入 Pandas以下的导入excel表只是演示作用。为了能在Python中使用Excel表格,首先要导入pandas,然后使用read_excel函数通过这个 Excel文件构造一个DataFrame。如果你在Python 3.9或者更高版本中使用函数,那么一定要 确保 pandas版本在1.2以上,否则会在读取xlsx文件时发生错误。二。

weixin_74727170的博客 3170

波士顿房价数据集boston.csv

该数据集包含美国人口普查局收集的美国马萨诸塞州波士顿住房价格的506个案例 , 数据集有以下14个属性 CRIM,ZN,INDUS,CHAS,NOX,RM,AGE,DIS,RAD,TAX,PTRATIO,B,LSTAT,MEDV

boston_house_prices.csv

UCI波士顿房价数据集

pandas数据操作

pandas数据操作 字符串方法 Series对象在其str属性中配备了一组字符串处理方法,可以很容易的应用到数组中的每个元素 t = pd.Series(['a_b_c_d','c_d_e',np.nan,'f_g_h']) t t.str.cat(['A','B','C','D'],sep=',') #拼接字符串 t.str.split('_') #切分字符串...

anbingzhong1132的博客 111

基于Apache SeaTunnel构建CDC数据同步管道

Apache SeaTunnel是一个数据集成开发平台,其发展经历了几个重要阶段:ETL时代(90年代):面向结构化数据库的数据同步,用于构建数据仓库。MPP和分布式技术流行:使用技术如Hive进行数据仓库的构建。此阶段主要使用mapreduce程序进行数据搬运和转换。数据湖技术流行:重视数据集成,强调先同步数据至数据湖仓储,再进行业务面向的转换和设计。CDC,即变更数据捕获,是一种捕获数据库变更事件(如插入、更新、删除)的技术。

weixin_54625990的博客 2173

pandas基本数据操作

pandas基本数据操作 为了更好的理解这些基本操作,我们将读取一个真实的股票数据。关于文件操作,后面在介绍,这里只先用一下API # 读取文件 data = pd.read_csv("./data/stock_day.csv") # 删除一些列,让数据更简单些,再去做后面的操作 data = data.drop(["ma5","ma10","ma20","v_ma5","v_ma10","v_ma20"], axis=1) 1 索引操作 Numpy当中我们已经知道使用索引选取序.

IT之一小佬的博客 680

原恒星尘埃生长的三维MHD模拟与湍流效应研究

星际尘埃演化是恒星形成过程中的关键环节,其动力学行为直接影响行星系统的构建。通过磁流体力学(MHD)模拟可以揭示尘埃颗粒从微米级到行星胚胎尺度的生长机制,其中湍流效应通过改变碰撞频率和密度结构发挥双重作用。最新研究采用COALA-RAMSES耦合框架,实现了包含自洽尘埃生长的三维非理想MHD模拟,量化了不同物理环境下尘埃尺寸分布的演化规律。这些发现不仅为解释ALMA观测数据提供理论依据,也对行星形成初期条件约束具有重要意义,特别是在湍流参数化与尘埃生长速率关系方面取得突破。

weixin_30988079的博客 385

单周期CPU设计【Verilog】

第一章 单周期CPU的设计原理 为实现单周期CPU,本文首先研究了单周期CPU的相关理论和工作原理。本章首先简要介绍单周期CPU的基本概念,然后对CPU的工作原理进行简要分析,以便为单周期CPU的设计和开发提供理论基础。 1.1 单周期CPU概述 中央处理器,即CPU,作为计算机系统的运算和控制核心,是信息处理、程序运行的最终执行单元。在CPU内部,电平从低到高变化的瞬间称为时钟上升沿,两个相邻时钟上升沿之间的时间间隔称为一个时钟周期。单周期CPU指的是一条指令的执行在一个时钟周期内完成,然后开始下一

醉酒、冰城外 2万+

Pandas基本数据操作

Pandas基本数据操作

程序员无羡的博客 511

深入解析CycloneDDS跨域通信中的XML配置文件优化策略

本文深入解析了CycloneDDS跨域通信中XML配置文件的优化策略,重点介绍了网络接口配置、多播设置、性能调优参数及复杂场景下的配置案例。通过实战技巧和调试方法,帮助开发者在SoC环境中实现高效稳定的跨域通信,提升系统性能。

soda5的博客 690

在 Jupyter Notebook 中使用 Pandas 进行数据操作

通过以上步骤,可以在 Jupyter Notebook 中熟练地使用 Pandas 进行数据操作。从数据的读取、清洗、分析到可视化和保存,每一步都有其重要作用。结合 Markdown 单元格添加说明文字,可以使整个数据分析流程更加直观和易于理解。不断实践和探索不同的功能与方法,将有助于提高数据分析的效率和质量。

智造编程 1378

conda upgrade出现Solving environment:failed CondaValueError Malformed version string invalid chars解决方案

本文主要介绍了conda install出现Solving environment:failed、CondaValueError: Malformed version string invalid character(s),希望能对使用conda的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案 2.1 步骤一 2.2 步骤二

weixin_43178406的博客 8万+

基于Python的FTA协定内容爬虫实战:从数据抓取到智能分析

本文将详细介绍如何使用Python构建一个高效的FTA(自由贸易协定)内容爬虫,涵盖最新技术如Playwright、异步IO、智能解析等。通过本教程,您将学会如何从各类政府网站和国际组织平台抓取结构化FTA数据,并对其进行清洗、存储和分析。文章包含完整的代码实现和最佳实践指南,适合中高级Python开发者学习网络爬虫开发。

2201_76125261的博客 994

「pandas」Pandas 基本数据操作、 索引、赋值、排序

更多内容请关注本人【pandas】专栏。

qq_44906900的博客 558

Qt QCustomPlot 图形库详解及使用

QCustomPlot 是一个开源的 Qt C++ 库,专门用于创建数据图表。易于集成到 Qt 项目中。支持多种图表类型,如折线图、散点图、条形图等。提供丰富的交互功能,如缩放、平移、选择和拖动。高度可定制,支持图形的各种样式设置。// 添加第一条曲线i < 101;++i) {// 设置曲线颜色// 添加第二条曲线i < 101;++i) {// 设置曲线颜色// 设置散点样式// 添加图例。

MusicScore的博客 766

Python NumPy 与 Pandas 数据操作对比:从高效计算到灵活分析的转变

本文探讨了 Python 中两个强大的数据处理库——NumPy 与 Pandas,在数据操作上的关键区别和联系。NumPy 专注于高效的数值计算,特别适合多维数组和向量化运算,而 Pandas 基于 NumPy 进行了扩展,特别擅长处理结构化和半结构化数据,提供了更高层次的数据操作接口,如 DataFrame,使得数据分析、清理和操作更加简洁直观。文章从数据存储、运算性能、兼容性和功能扩展等角度,深入对比了两者的特点和适用场景,为读者提供了选择合适工具的指南。

敲代码别忘了喝上一杯凉白开。 2176

OpenClaw 2026 路线图详解:3 大协作能力升级与社区贡献增长 62% 的实证分析

介绍 OpenClaw 2026 如何通过上下文锚定(Context Anchoring)、协作质量定义和责任边界机制,将 AI 编程工具从单点补全升级为嵌入代码生命周期的协作对齐系统,并详解 `.openclaw/config.yaml` 中 `context_anchor` 配置的实操方法与效果

weixin_42545292的博客 385

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

Python 从入门到实战45(Pandas数据操作)

我们的目标是:通过这一套资料学习下来,可以熟练掌握python基础,然后结合经典实例、实践相结合,使我们完全掌握python,并做到独立完成项目开发的能力。上篇文章我们学习了pandas数据读写的相关基础知识。今天学习一下pandas数据操作的相关操作。DataFrame 对象是pandas 模块中最常用的对象,该对象所呈现的数据与excel表格相似。因此,我们需要了解DataFrame 对象中的各种数据操作方法。

立黄昏粥可温 1249

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

上一篇: Python遥感图像处理应用篇(三十):图片格式转为具有空间坐标的遥感图像数据(Jpg2Geotiff)
下一篇: 错误记录:ValueError: Usecols do not match columns, columns expected but not found
空中旋转篮球
空中旋转篮球 新星创作者: python技术领域 新星创作者: python技术领域
博客等级 码龄14年 6104粉丝 270原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

空中旋转篮球

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值