Python DataTable用法(二)

好物推荐!Python的datatable程序包概述 全文共5270字,预计学习时长11分钟或更长 图片来源:pexels.com/@divinetechygirl 从文明之初到2003年,只创造了5艾字节的信息,但是现在每两天就有如此之多的信息产生。 埃里克·施密特(Eric Schmidt) 如果你是R使用者,可能你已经使用过data.table程序包。Data.table是R中数据帧程序包的延伸。涉及大型数据(包括RAM中1的1... 阅读详情

最近发现Python DataTable有查询csv, Excel表数据真的很好用。强烈推荐给大家。有一些甚至比Pandas都要好用一些。这篇文章记录一些查询数据的方法。其中一些小的细节,请大家自己观察结果的返回。

读取csv数据:

tips = dt.fread("D:\\pythonProject\\datacenterqa\\datatables_example\\tips.csv")

1."SELECT total_bill, tip,sex, total_bill*2 AS total_bill_doubled FROM tips where sex = 'Female';"

dt12 = tips[f["sex"] == "Female", ("total_bill", "tip", "sex")][:, f[:].extend({"total_bill_doubled": f.total_bill * 2})]
print(dt12)

结果:

   | total_bill      tip  sex     total_bill_doubled
   |    float64  float64  str32              float64
-- + ----------  -------  ------  ------------------
 0 |      16.99     1.01  Female               33.98
 1 |      24.59     3.61  Female               49.18
 2 |      35.26     5     Female               70.52
 3 |      14.83     3.02  Female               29.66
 4 |      10.33     1.67  Female               20.66
 5 |      16.97     3.5   Female               33.94
 6 |      20.29     2.75  Female               40.58
 7 |      15.77     2.23  Female               31.54
 8 |      19.65     3     Female               39.3 
 9 |      15.06     3     Female               30.12
10 |      20.69     2.45  Female               41.38
11 |      16.93     3.07  Female               33.86
12 |      10.29     2.6   Female               20.58
13 |      34.81     5.2   Female               69.62
14 |      26.41     1.5   Female               52.82
 … |          …        …  …                        …
82 |      10.09     2     Female               20.18
83 |      22.12     2.88  Female               44.24
84 |      35.83     4.67  Female               71.66
85 |      27.18     2     Female               54.36
86 |      18.78     3     Female               37.56
[87 rows x 4 columns]

2. "SELECT total_bill, tip,sex, total_bill*2 AS total_bill_doubled FROM tips where sex = 'Female' and tip >=5;"

dt13 = tips[(f["sex"] == "Female") & (f["tip"] > 5), ("total_bill", "tip", "sex")][:,f[:].extend({"total_bill_doubled": f.total_bill * 2})]
print(dt13)

结果:

   | total_bill      tip  sex     total_bill_doubled
   |    float64  float64  str32              float64
-- + ----------  -------  ------  ------------------
 0 |      34.81     5.2   Female               69.62
 1 |      34.83     5.17  Female               69.66
 2 |      29.85     5.14  Female               59.7 
 3 |      28.17     6.5   Female               56.34
[4 rows x 4 columns]

3. "SELECT day, sum(total_bill) FROM tips group by day"

dt14 = tips[:,{"sum_total_bill":dt.sum(f["total_bill"])}, by("day")]
print(dt14)

结果:

   | day    sum_total_bill
   | str32         float64
-- + -----  --------------
 0 | Fri            325.88
 1 | Sat           1778.4 
 2 | Sun           1627.16
 3 | Thur          1096.33
[4 rows x 2 columns]

4. "SELECT day, sum(total_bill) FROM tips where sex='Female' group by day "

dt15 = tips[f["sex"] == "Female",:][:, {"sum_total_bill": dt.sum(f["total_bill"])}, by("day")]
print(dt15)

结果:

   | day    sum_total_bill
   | str32         float64
-- + -----  --------------
 0 | Fri            127.31
 1 | Sat            551.05
 2 | Sun            357.7 
 3 | Thur           534.89
[4 rows x 2 columns]

5. "SELECT total_bill, tip,sex, size, total_bill*2 AS total_bill_doubled,size*2 AS size_doubled FROM tips where sex = 'Female';"

dt16 = tips[f["sex"] == "Female", ("total_bill", "tip", "sex","size")][:,f[:].extend({"total_bill_doubled": f.total_bill * 2,"size_doubled": f.size * 2})]
print(dt16)

结果:

   | total_bill      tip  sex      size  total_bill_doubled  size_doubled
   |    float64  float64  str32   int32             float64         int32
-- + ----------  -------  ------  -----  ------------------  ------------
 0 |      16.99     1.01  Female      2               33.98             4
 1 |      24.59     3.61  Female      4               49.18             8
 2 |      35.26     5     Female      4               70.52             8
 3 |      14.83     3.02  Female      2               29.66             4
 4 |      10.33     1.67  Female      3               20.66             6
 5 |      16.97     3.5   Female      3               33.94             6
 6 |      20.29     2.75  Female      2               40.58             4
 7 |      15.77     2.23  Female      2               31.54             4
 8 |      19.65     3     Female      2               39.3              4
 9 |      15.06     3     Female      2               30.12             4
10 |      20.69     2.45  Female      4               41.38             8
11 |      16.93     3.07  Female      3               33.86             6
12 |      10.29     2.6   Female      2               20.58             4
13 |      34.81     5.2   Female      4               69.62             8
14 |      26.41     1.5   Female      2               52.82             4
 … |          …        …  …           …                   …             …
82 |      10.09     2     Female      2               20.18             4
83 |      22.12     2.88  Female      2               44.24             4
84 |      35.83     4.67  Female      3               71.66             6
85 |      27.18     2     Female      2               54.36             4
86 |      18.78     3     Female      2               37.56             4
[87 rows x 6 columns]

6."SELECT size,COUNT() AS N FROM tips GROUP BY size; -- 次数"

dt17 = tips[:,dt.count(), by("size")]
print(dt17)

结果:

   |  size  count
   | int32  int64
-- + -----  -----
 0 |     1      4
 1 |     2    156
 2 |     3     38
 3 |     4     37
 4 |     5      5
 5 |     6      4
[6 rows x 2 columns]

101个Python数据分析提速操作-基于datatable Python的datatable,在一定程度上不乏为pandas有力竞争者,其模仿R中data.table的核心算法和接口,致力于更快的、处理size更大的数据。 这里分享datatable的101个常用操作,助快速上手datatable。 0、安装 pip install datatable 1、加载datatable、查看版本号 import datatable as dt dt.__version__ 2、三种方式创建datatable.Frame import pand... 阅读详情

相关推荐

媲美Pandas?Python的Datatable包怎么用?

作者 |Parul Pandey译者 |linstancy责编 | Jane出品 | Python大本营(id:pythonnews)【导读】工具包 datatab...

Python大本营的博客 5282

Python DataTable用法(一)

最近发现Python DataTable有查询csv, Excel表数据真的很好用。强烈推荐给大家。有一些甚至比Pandas都要好用一些。这篇文章记录一些查询数据的方法。其中一些小的细节,请大家自己观察结果的返回。

于涛的专栏 4190

Python:Datatable 高性能的数据处理库

Datatable:高性能Python数据处理库 Datatable是一个专为大规模数据集设计的高性能Python库,提供类似R语言data.table和pandas的功能,但处理速度更快。主要特点包括卓越性能、内存高效、易用语法和多线程支持。基础操作涵盖数据创建、导入导出、列操作等;支持条件筛选、多列排序等数据处理;提供强大的分组聚合功能。实际应用示例展示了其在大型数据集分析、数据清洗、时间序列处理和机器学习集成中的优势,特别适合需要高效处理海量数据的场景。

木头 405

datatable,一个神奇的 Python 库!

import datatable as dt # 加载数据 data = dt.fread("data.csv") # 计算统计摘要 summary = data[:, dt.sum(dt.f.count)] print(summary)DataTable 库为 Python 数据分析提供了全面的工具集。在本指南中,介绍了其基本用法、高级操作以及在各个领域的实际应用。通过其高性能和可伸缩性,DataTable 是 Python 数据科学工具包中不可或缺的一部分。

xjt921122的博客 1519

有限差分法地震数据正演模拟(二)

正演模拟,是在地球物理勘探研究中,根据地质体的形状、产状和物性数据,通过构造数学模型计算得到其理论值(数学模拟),或通过构造实体模型来观测模型所产生的地球物理效应的数值(物理模拟)。p(t+1,x,z)即为下一时刻的波长信息,该波动方程的意义就是通过前一时刻(p(t-1,x,z))和现在时刻(p(t,x,z))预测下一时刻波的传播情况。声波波动方程:反应声波的传播规律,描述最简单的波现象的方程,p代表波场信息,v表示速度场信息因为速度只与速度场有关,所以只与x,z有关。其结果也可以作为反演的验证。

weixin_46285501的博客 3937

华为无线WiFi实战:基于802.1x与NPS的企业级认证部署指南

本文提供了一份详尽的华为无线WiFi企业级认证部署实战指南。通过整合802.1x协议与Windows NPS服务器,构建基于AD域账号的安全认证体系,彻底解决传统WiFi密码共享带来的安全风险。文章详细拆解了从NPS服务器配置、证书部署到华为AC端RADIUS模板、AAA方案、认证域及VAP模板调用的全流程,并附有终端连接测试与常见故障排查方法,助力企业实现高效、安全的无线网络接入管理。

weixin_29239661的博客 271

python : 读取csv最快的Datatable的用法

2021年7月1日,官方正式发布了1.0Datatable版本。1.0版本支持windows和linux,以及Macos。 具体文档可以见: https://datatable.readthedocs.io/en/latest/start/using-datatable.html Datatable与众不同就是快! 需要说明的是,使用Datatable库需要python3.6及以上版本。 import datatable as dt import pandas as pd import time fro

代码过客 2130

金蝶EAS uploadlogo漏洞实战:如何快速检测你的系统是否受影响

本文详细解析了金蝶EAS uploadlogo任意文件上传漏洞的检测与防护方法,帮助企业安全团队快速识别系统风险。通过资产发现、漏洞验证和应急响应方案,有效防范财务数据泄露和系统入侵风险,提升企业整体安全防护能力。

weixin_29322553的博客 387

python3 安装datatable_pythonnet模块的使用,把DataTable转换成DataFrame

1.模块的选择python与c#交互目前有两种方式,一种是使用ironpython模块,另一种是使用pythonnet模块。笔者推荐使用pythonnet,因为ironpython不支持c#中的一些模块,如比较有名的pandas,numpy等。2.使用pythonnet使用pip下载pythonnet模块,在安装路径下会有clr.pyd、python.Runtime.dll 两个文件,pyd文件是...

weixin_39597399的博客 681

Silvaco TCAD | 从极化效应到高频开关:GaN HEMT仿真设计与性能验证

本文深入探讨了使用Silvaco TCAD进行GaN HEMT仿真设计与性能验证的关键技术。从极化效应到高频开关特性,详细解析了2DEG形成机制、器件结构设计优化及高频特性仿真技巧,帮助工程师提升GaN HEMT的性能与可靠性。通过实战案例展示了如何通过仿真优化击穿电压和导通电阻,实现开关品质因数的显著提升。

weixin_30872337的博客 484

机器学习系列(1)_逻辑回归初步

1、总述 逻辑回归是应用非常广泛的一个分类机器学习算法,它将数据拟合到一个logit函数(或者叫做logistic函数)中,从而能够完成对事件发生的概率进行预测。 2、由来     要说逻辑回归,我们得追溯到线性回归,想必大家对线性回归都有一定的了解,即对于多维空间中存在的样本点,我们用特征的线性组合去拟合空间中点的分布和轨迹。如下图所示:     线性回归能对连续值结果进行预测,

寒小阳 13万+

媲美Pandas?一文入门Python的Datatable操作

作者 |Parul Pandey译者 |linstancy责编 | Jane出品 | Python大本营(id:pythonnews)【导读】工具包 datatab...

AI科技大本营 6057

Windows10环境下激活虚拟环境报错【source : 无法将“source”项识别为 cmdlet、函数、脚本文件或可运行程序的名称】

在使用Django创建Web程序前,需要创建一个虚拟的工作环境,在使用【source ll_env/bin/activate】命令激活虚拟环境时报错:source : 无法将“source”项识别为 cmdlet、函数、脚本文件或可运行程序的名称。请检查名称的拼写,如果包括路径,请确保路径正确,然后再试一次。所在位置 行:1 字符: 2。

提供C#相关开发 、云计算、运维测试、网络安全相关技术分享与服务,有意向可联系。 1万+

python3 安装datatable_datatable

datatableThis is a Python package for manipulating 2-dimensional tabular data structures(aka data frames). It is close in spirit to pandas or SFrame; however weput specific emphasis on speed and big d...

weixin_39568926的博客 465

【银河麒麟V10】【桌面】【服务器】系统启动问题

1、如果之前运行好好的,重启后系统报错,一般80%是因为fstab的问题,回想下之前有没有添加过外接存储,修改过/etc/fstab,如果是的话一般是因为存储异常(比如网络存储无法连接,本地存储路径变化)导致系统开机自检失败,导致无法正常启动; 处理方式:进入单用户(单用户进入的几种方式上面有专门文章介绍),修改/etc/fstab,将新增的内容暂时注释掉,然后重启系统,能正常进入系统后再分析失败原因。 ...

桂安俊@KylinOS 3万+

【新版系统架构】系统架构设计师教程全篇知识点提炼

信息系统的5个基本功能:输入、存储、处理、输出和控制信息系统的发展:诺兰模型:初始阶段、传播阶段、控制阶段、集成阶段、数据管理阶段、成熟阶段信息系统的分类:传统的信息系统分为:业务(数据)处理系统、管理信息系统(MIS)、决策支持系统(DSS)、专家系统(ES)、办公自动化系统(OAS)等5类信息系统的生命周期:1、产生阶段2、开发阶段(总体规划、系统分析、系统设计、系统实施、系统验收阶段)3、运行阶段4、消亡阶段信息系统建设原则:1、高层管理人员介入原则。

分享技术干货和灵感、推荐新书和好玩的项目、分享Java面试题 1万+

datatable使用_媲美Pandas?告诉你Python的Datatable包到底怎么用

作者 | Parul Pandey【导读】工具包 datatable 的功能特征与 Pandas 非常类似,但更侧重于速度以及对大数据的支持。此外,datatable 还致力于实现更好的用户体验,提供有用的错误提示消息和强大的 API 功能。通过本文的介绍,你将学习到如何在大型数据集中使用 datatable 包进行数据处理,特别在数据量特别大的时候你可以发现它可能比 Pandas 更加强大。前言...

weixin_39827306的博客 338

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

datatable 排序_媲美Pandas?告诉你Python的Datatable包到底怎么用!

前言data.table 是 R 中一个非常通用和高性能的包,使用简单、方便而且速度快,在 R 语言社区非常受欢迎,每个月的下载量超过 40 万,有近 650 个 CRAN 和 Bioconductor 软件包使用它。如果你是 R 的使用者,可能已经使用过 data.table 包。而对于 Python 用户,同样存在一个名为 datatable 包,专注于大数据支持、高性能内存/内存不足的数据集...

weixin_39668470的博客 131

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

python—datatable加载数据

文章目录引言datatable加载数据 引言 使用read_csv需要加载上百秒,极为耗时 datatable加载数据 import datatable as dt import time start = time.time() train_datatable = dt.fread('DATA/train.csv') train = train_datatable.to_pandas() del train_datatable end = time.time() print(type(train)) pr

柳杰的博客 826

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

媲美Pandas?告诉你Python的Datatable包到底怎么用!

前言 data.table 是 R 中一个非常通用和高性能的包,使用简单、方便而且速度快,在 R 语言社区非常受欢迎,每个月的下载量超过 40 万,有近 650 个 CRAN 和 Bioconductor 软件包使用它。如果你是 R 的使用者,可能已经使用过 data.table 包。 而对于 Python 用户,同样存在一个名为 datatable 包,专注于大数据支持、高性能内存/内存不足...

Pythoncxy的博客 1503

datatable使用_墙裂推荐!Python的datatable程序包概述

全文共5270字,预计学习时长11分钟或更长从文明之初到2003年,只创造了5艾字节的信息,但是现在每两天就有如此之多的信息产生。埃里克·施密特(Eric Schmidt)如果你是R使用者,可能你已经使用过data.table程序包。Data.table是R中数据帧程序包的延伸。涉及大型数据(包括RAM中1的10GB)快速集合时,该数据包也是R使用者的首选程序包。R的data.table程序包使用...

weixin_39875760的博客 389

datatable 排序_好物推荐!Python的datatable程序包概述

全文共5270字,预计学习时长11分钟或更长从文明之初到2003年,只创造了5艾字节的信息,但是现在每两天就有如此之多的信息产生。埃里克·施密特(Eric Schmidt)如果你是R使用者,可能你已经使用过data.table程序包。Data.table是R中数据帧程序包的延伸。涉及大型数据(包括RAM中1的10GB)快速集合时,该数据包也是R使用者的首选程序包。R的data.table程序包使用...

weixin_39747568的博客 141

Python的datatable库与pandas库比较-有何特点和优势

选择Pandas:当项目依赖丰富的数据分析功能或数据规模适中时。选择Datatable:当需处理超大数据集且对性能敏感时,可作为Pandas的前置加速层。混合使用:通过的转换链,兼顾速度与功能完整性。转发时请注明来源于微信公众号:cnFuJH。

imewe的博客 907

python | datatable,一个有趣的 Python 库!

本文介绍了Python高性能数据处理库datatable,它专为高效处理大规模数据而设计。该库借鉴R语言data.table理念,提供多线程并行计算和内存优化功能,支持类似SQL的语法和多种数据格式。文章详细讲解了安装方法、基本功能(数据创建、筛选和聚合)以及高级特性(大文件处理、类型优化和与其他库集成)。通过实际应用场景展示了datatable在企业财务分析和客户行为挖掘中的优势,强调其卓越的性能表现和简洁语法设计,是处理大数据集的理想工具。

csdn_xmj的博客 982
上一篇: Python DataTable用法(一)
yutaolife007
博客等级 码龄22年 32粉丝 75原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值