《Python数据处理》9.1.2探索表函数笔记:agate模块的关键为table

解决:python爬取豆瓣电影遇到的KeyError: 'subject_collection_items'错误 今天在学习爬虫,爬取豆瓣电影的一些json资料存到本地的时候遇到了一些问题,先解释一下: 在豆瓣手机版的“正在热映”页面里可以找到一些包,里面有当前页的内容(json格式): 所以requests模块可以去爬这些下来: 找到url,然后找到提交规律url里是用的start来表示当前页面显示的是哪些片。 还可以找到数据都放在subject_collection_items下面: ... 阅读详情

《Python数据处理》9.1.1导入数据笔记

一、问题

问题一:

源码:

most_egregious = table.order_by('Total (%)', reverse=True).limit(10)

报错:

KeyError: 'Total (%)'

可能是自己写错了,但是agate出来的也是
在这里插入图片描述
没有找出来哪里错了
只能修改为

most_egregious = table.order_by(table.column_names[1], reverse=True).limit(10)

在这里插入图片描述

问题二:

整体比较混乱:
cpi_types = get_types(cpi_sheet.row(3))
位于
get_types(cpi_sheet.row(3))导致阅读具有一定障碍
这一节感觉整体阅读具有障碍,变量太多而没有罗列清楚,
且

cpi_rows = get_new_array(cpi_rows,float_to_str)

中的float_to_str一直没有找到

加上之前试图封装9.1.1、9.1.2的内容导致函数调用非常麻烦,整整折腾了一下午和一个晚上

错误示例:

from 数据导入 import Data_explore
import xlrd
import agate
from 探索表函数 import Data_Sort
#两个中文就是前两个封装的内容

def xlrd_cpi():
	tm = Data_explore('I:\\360下载\\data-wrangling\\data\\chp9\\corruption_perception_index.xls')
#print(tm.path)
 	tm.xls_type()
	print(tm.agate_data_check())
	table = tm.get_new_array()
#print(table.column_names)


xlrd_cpi()
def table_():
	tm = Data_explore('I:\\360下载\\data-wrangling\\data\\chp9\\corruption_perception_index.xls')
	table = tm.get_new_array()
	print(table.column_names)
#table_()

def get_table():
try:
    tm = Data_explore('I:\\360下载\\data-wrangling\\data\\chp9\\corruption_perception_index.xls')
    table = tm.get_new_array()
    print(table)
    '''DuplicateColumnWarning: Column name "1.0 3.0" already exists in Table. Column will be renamed to "1.0 3.0_2".'''
except Exception as e:
    print(e)
#get_table()
def repeat_row_manage():

	 tm = Data_explore('I:\\360下载\\data-wrangling\\data\\chp9\\corruption_perception_index.xls')
	index = 0
	title_ = [titles + ' '  for titles in tm.combine_title() if titles]
	#print(type(title))
	tm_ =Data_explore('I:\\360下载\\data-wrangling\\data\\chp9\\corruption_perception_index.xls',title_)
	#print(tm_.title)




	#print(title)
	#print(tm.combine_title())#tm.combine_title是一个列表
	print()
	table = tm_.get_new_array()#错误原因没有变成tm_
	#print(table)
	t = Data_Sort()
	ranked = t.data_table_rank()
	cpi_and_cl = table.join(ranked, table.column_names[1], ' Countries and areas', inner=True)

	print(cpi_and_cl.column_names)

	for r in cpi_and_cl.order_by('CPI 2013 Score').limit(10).rows:
    	print('{}: {} - {}%'.format(r[tm_.get_new_array.column_names[1]], r['CPI 2013 Score'], r['Total (%)']))
    print('是否运行至此测试------------------------------------------')
#repeat_row_manage()

理解的关键:
table需要rows ,title,type.table是agate的基础,table就是xlrd的标题与数据的联合,就是将xlrd内容转换成为agate的内容,而type是需要设置的内容

正常的源码:

import xlrd
from xlrd.sheet import ctype_text
import agate
import pprint

from 探索表函数 import Data_Sort


'''table需要rows ,title,type.其中rows'''

def xlrd_open():
	cpi_workbook = xlrd.open_workbook('I:\\360下载\\data-wrangling\\data\\chp9\\corruption_perception_index.xls')
	cpi_sheet = cpi_workbook.sheets()[0]
	return cpi_sheet

def cpi_titles():
	'''簿-表-标题行(行值不是列值)'''
	cpi_sheet = xlrd_open()
	cpi_title_rows = zip(cpi_sheet.row_values(1), cpi_sheet.row_values(2))
	#print(cpi_sheet.row_values(2))
	'''之前测试失败是由于title的拼凑位置不一样,修改会导致原title出错'''
	cpi_titles = [list(t)[0] + ' ' + list(t)[1] for t in cpi_title_rows]
 	#print(cpi_titles)
	cpi_titles = [t.strip() for t in cpi_titles]
	#print(cpi_titles)
	return cpi_titles
print(cpi_titles())


#def cpi_rows():
'''行数的值,正式行数的值'''
cpi_sheet = xlrd_open()
cpi_rows = [cpi_sheet.row_values(r) for r in range(3, cpi_sheet.nrows)]
#与数据导入中的有效行也不一致
#print(cpi_rows)#是正式的数据行,没有表头
'''函数化后无法输出,只能输出内存地址'''



def cpi_types():
 '''行类型,对正式数据行的行类型'''
	cpi_sheet = xlrd_open()
	types = []
	text_type = agate.Text()
	number_type = agate.Number()
	boolean_type = agate.Boolean()
	date_type = agate.DataType()
	for v in cpi_sheet.row(3):
    	'''ctype_text为字典'''
    	value_type = ctype_text[v.ctype]
    	
    	# print(value_type, end=' ')
    	if value_type == 'text':
            types.append(text_type)
    	elif value_type == 'number':
        	types.append(number_type)
    	elif value_type == 'xldate':
        	types.append(date_type)
    	else:
        	types.append(text_type)
	return types


def cpi_titles_update():
	global cpi_titles
	cpi_titles = cpi_titles()
	cpi_titles[0] = cpi_titles[0] +'Duplicate'
	return cpi_titles
'''针对更新后的title进行table输出'''
cpi_table = agate.Table(cpi_rows,cpi_titles_update(),cpi_types())
cpi_table.print_table(max_columns=7)






'''数据集连接'''
	
ranked = Data_Sort().data_table_rank()#.print_table(max_columns=7)
cpi_and_cl = cpi_table.join(ranked, 'Country / Territory', ' Countries and areas', inner=True)
print(cpi_and_cl.column_names)
for r in cpi_and_cl.order_by('CPI 2013 Score').limit(10).rows:
	print('{}: {} - {}%'.format(r['Country / Territory'], r['CPI 2013 Score'], r['Total (%) ']))
Python处理表格数据库之Agate使用详解 您是否有时觉得在处理表格数据时感到不知所措? 也许你在处理一个大型 CSV 文件,遇到了各种数据不一致的问题,或者需要验证数据,确保其准确无误才能进行下一步分析。 传统的数据分析库或许功能强大,但学习曲线陡峭,用起来有点杀鸡用牛刀的感觉。 这时,有一个更适合此类任务的工具——那就是 Agate。 Agate以其直观的 API 和专注于数据探索和验证的功能,为你清晰的数据前路提供了一盏指路灯。 阅读详情

相关推荐

Python agate-excel 包完全指南:功能、安装、语法与实战案例

在 Python 数据处理生态中,agate-excel 是一个专注于 Excel 文件读取的轻量级库,它是 agate 数据分析库的扩展插件。与 pandas 等重量级工具不同,agate-excel 强调类型安全、链式操作和低内存占用,特别适合中小规模数据的快速探索与清洗。

王国平的博客 150

KeyError: “[‘xxxx‘] not found in axis“

KeyError: “[‘total’] not found in axis” 删除名为Total的列 代码: crime.drop('total',inplace=True) 报错: 解析: DataFrame.drop(labels=None,axis=0, index=None, columns=None, inplace=False) 参数说明: labels 就是要删除的行列的名字,用列表给定 axis 默认为0,指删除行,因此删除columns时要指定axis=1; index 直接

懂得一千零一种,赋予你失败的方法! 5万+

Python agate-dbf 包完全指南:功能、安装、语法与实战案例

agate-dbf 是 agate 数据表格库的一个扩展包,专门用于读取和处理 DBF 格式(dBase/FoxPro 数据库文件)的数据。DBF 格式虽然年代久远,但在政府、金融、地理信息系统(GIS)等许多遗留系统中仍然广泛使用。

王国平的博客 72

Python 异常

异常语法 try: # 如果捕获到异常,后面的代码就不执行了 # 不要把大片代码放在一个try里,然后使用pass忽略掉所有错误 pass except Exception as e: # except 必须有一个 pass except (Exception1, Exception2) as e: # 一次处理多个异常,放在元组里 pass except Exception as e: # all other exception pa

test121210的博客 276

Python agate-mdb 包完全指南:功能、安装、语法与实战案例

在数据处理与分析领域,Python 生态提供了丰富的工具链。agate-mdb 是一个专门用于读取 Microsoft Access 数据库(.mdb 和 .accdb 文件)的 Python 库,它基于 agate 数据表框架构建,能够将 Access 数据库中的表直接转换为 agate Table 对象,方便后续使用 agate 或 pandas 进行数据清洗、分析和可视化。

王国平的博客 174

【信息科学与工程学】计算机科学与自动化——第十篇 芯片设计33 芯片中的后端设计20

编号子编号类型微电子领域领域关联子领域模型名称20​20.1​后端设计标准单元时序与功耗库NLDM/CCS时序模型​2020.2后端设计标准单元时序模型非线性延迟模型(NLDM)2020.3后端设计标准单元时序模型复合电流源模型(CCS)2020.4后端设计标准单元功耗模型开关功耗模型2020.5后端设计标准单元功耗模型内部功耗模型2020.6后端设计标准单元功耗模型漏电功耗模型2020.7后端设计标准单元噪声模型噪声容限模型2020.8后端设计标准单元噪声模型噪声传播模型2020.9后端设计标准单元PVT

weixin_49199313的博客 411

agate学习笔记

agate学习笔记一、数据类型二、agate(rows,titles,types)其他函数 一、数据类型 这里是引用 数据类型测试方法 ctype for v in example_row: value_type = ctype_text[v.ctype] 二、agate(rows,titles,types) 例: #测试 example_row = sheet.row(6) print('example_row: ',example_row) #print('slice方法: ',sheet.row

qq_43842886的博客 835

Python-agate是针对人而不是机器优化的Python数据分析库

agate 是针对人而不是机器优化的 Python 数据分析库。它是 numpy 和 pandas 的一种替代方法,它用可读的代码解决现实中的问题。

精通Python数据处理:掌握Agate,解锁数据分析新境界

希望通过本文的介绍,你已经对Agate有了更深入的了解,并能够灵活运用它来进行数据处理和分析。记得多多实践,熟能生巧!如果有任何问题或者想分享你的使用心得,都可以在评论区留言哦!Seaborn完全指南:从入门到实战Dash库教程:构建交互式Web应用的Python之旅掌握Python图像处理艺术:Pillow库入门实践与案例解析更多精彩文章请关注微信公众号:手把手PythonAI编程。

wenjie20070212的博客 513

CRaxsRat v7.4远程管理工具使用教程(附资源下载)

CRaxsRat是一款图形化界面友好、功能较全面的远程管理平台,主要用于对多台计算机的统一维护与管理。该工具适用于以下场景:内网远程运维教学演示环境局域网设备调试程序自动化控制测试支持多种加密通信方式优化了远程桌面传输稳定性增加了自定义脚本模块后台运行更稳定,占用资源更少。

lzj781210的博客 2153

5、OpenClaw(龙虾助手)飞书机器人完整对接指南(2026最新版)

OpenClaw v2026.2.2+ 版本,防火墙内也能正常工作,是目前最稳定、最简单的企业内部AI助手部署方案。

欢迎光临~知1而N的博客 458

Python字典查找报Keyerror解决方法

Python的字典一般都直接查找key ,比如 dict={'a':1,'b':2,'c':3} print(dict['a']) 但是如果在查找的key不存在的时候就会报:KeyError: 比如你要查看print(dict['d']) 由于这个时候dict里面并没有这个key ,所以就会直接报错,那么这个时候其实python给我们提供了一种很棒的解决方法,那就是用 setdefa...

幸运的Alina的博客 29万+

计算机模拟爆破过程,基于LSDYNA岩石爆破模拟建模分析

原标题:基于LSDYNA岩石爆破模拟建模分析 Ls Dyna岩石爆破模拟仿真作者:dyna_focus擅长领域:dyna/abaqus/hypermesh一、 数值模型的建立1.1 单元及算法的选择岩石,炸药,空气都采用solid164实体单元。岩石采用常应力实体单元,该种单元属于纯粹的lagrange算法,该种算法单元网格附着在材料上,随着材料的流动而产生单元网格的变形,但是在结构变形巨大时,有...

weixin_29494379的博客 7317

Python编程基础之九错误和异常

一、简介       文件存储是长久保存数据很重要的方式,Python的文件处理和相关输入输出能力直接影响系统的性能,了解文件对象(包括内建函数、方法和属性)、标准文件、文件系统的访问方法、文件执行和相关的模块都是很有必要的。 二、详解 1、文件对象         文件对象不仅可以用来访问普通的磁盘文件,而且也可以访问任何其它类型抽象层面上的"文件"。一旦设置了合适的

乌托邦 1万+

.NET适配HarmonyOS进展 1. 前言

目前国产化系统浪潮下,适配鸿蒙是中国软件大势所趋,.NET作为最适合开发客户端语言之一,适配鸿蒙系统(HarmonyOS Next)是目前.NET开发者最关心的事情。我目前业余时间正在移植Avalonia到HarmonyOS,去年在.NET Conf CN上分享过,目前又取得一点进展,所以本文把所有问题进行整合与大家进行分享。

2301_76476890的博客 1463

PLSQL 14.0.6 下载使用教程

众所周知,PLSQL 只是一个oracle第三方开发测试工具,它依赖oracle 客户端搭配使用,但是oracle 客户端有2G,相当庞大,不建议安装。所以我们如果下载安装好PLSQL,再下载好轻量级的支持远程链接的oracle客户端,这样搭配使用可以的话就最好了,答案是可以的。 第一步: PLSQL 下载与安装 PLSQL 14.0.6 下载地址 : https://www.allroundautomations.com/registered-plsqldev/ 下载下来,除了安装路径更改一下,

qq976511508的博客 2137

Python:操作dict时避免出现KeyError的几种方法

在读取dict的key和value时,如果key不存在,就会触发KeyError错误,如: Python t = { 'a': '1', 'b': '2', 'c': '3', } print(t['d']) 就会出现: KeyError: 'd' 第一种解决方法 首先测试key是否存在,然后才进行下一步操作,如: Py

u011089523的博客 14万+

Python爬虫实战:Boss直聘职位数据采集实战 - Playwright + 结构化解析完整方案(附CSV导出 + SQLite持久化存储)!

我长期专注 Python 爬虫工程化实战,主理专栏 《Python爬虫实战》:从采集策略到反爬对抗,从数据清洗到分布式调度,持续输出可复用的方法论与可落地案例。内容主打一个“能跑、能用、能扩展”,让数据价值真正做到——抓得到、洗得净、用得上。

喵手的博客 2189

【Python】KeyError解决方法

#如果不知道dict中是否有key的值 dict.get(key) #如果用 dict[key] 读取会报KeyError异常

趣 7万+

LDRA Testbed软件静态分析_常见问题及处理

通过前面的几篇文章,LDRA Testbed软件静态分析的内容基本讲解完了,本篇文章将针对使用Testbed进行软件静态分析的常见问题进行介绍。 到此为止,LDRA Testbed软件静态分析的内容已经全部讲完,如果有问题,欢迎私信提问(不经常登录,回复可能不及时,见谅)。下一篇文章将开始讲解如何使用Testbed进行单元测试。

文章主要涉及嵌入式软件开发、测试、项目管理等,欢迎交流,共同进步。 2595

微信小程序 - 最新详细实现跳转打开第三方网站方法流程及示例代码,在小程序内直接打开H5页面或微信公众号文章后台业务域名配置及下载校验文件上传服务器,嵌入外部网站跳转第三方h5网页(详细配置及代码)

微信小程序,打开第三方网站,放校验文件,怎么配置业务域名,后台配置,怎么打开外部没有关联的网站,小程序直接打开公众号文章,指定页面,跳转第三方url,跳转到外部网站,小程序跳转到任意外部网页,网站链接,跳转到其他网页(外部链接),小程序嵌入外部h5链接,校验文件怎么放到对方服务器上,要跳转到网站没权限放过去,校验文件验证域名,把校验文件放到对面网站,别人的服务器也打不开没权限怎么放呢,勾选不校验合法域名,txt,打不开别人的网页怎么办,真机调试打不开,无法跳转,有什么其他办法不放校验文件吗,别人不可能同意,

🏆 前端领域优质创作者 1万+

Python中KeyError: 的解决方法

https://blog.csdn.net/weixin_55267022/article/details/123061965 背景 python 3.7.6 django 2.2 现象 执行代码报错: if rule['duration']: KeyError: 'duration' 原因 rule是字典类型,此字典中没有: return {"code": 3466, "message": e} 解决 返回语句修改为: return Response({"code": 3466, "messa

王木头的博客 1万+

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

关于KeyError:‘ ‘问题的解决

今天在使用python中的函数format的过程中有个很奇怪的错误:KeyError: 'name’ 在网上查了很久没有很明确的解决办法,后面查format函数使用才知道如何解决 例子如下: 解决办法是多加一层大括号 如果对你有帮助,给我点个赞吧 ...

weixin_43254438的博客 5万+

Probability and Statistics - 4th edition

Probability and Statistics - 4th edition

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

上一篇: 《Python数据处理》9.1.1导入数据笔记:agate.exceptions.CastError: Can not parse value as Decimal. Error at row
下一篇: 《Python数据处理》9.1.2探索表函数笔记:print不输出期望值而是输出内存地址或者数据类型
python__reported
博客等级 码龄7年 249粉丝 141原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值