当Excel大老碰到2G的XML数据,好戏来了【真实案例】

Xmind转Excel测试用例 Java篇 最近公司整了个测试用例平台只支持Excel格式导入,但是现在都懒得用Excel写用例了,太麻烦而且慢,还是习惯用xmind思维导图方式写用例,又快结构又清晰。 Excel用例模板如下: 用例名称 前置条件 操作步骤 预期结果 优先级 所属模块 版本号 ... 阅读详情

这周碰到一个工作中的案例,可以很好的帮助初学者理解Excel,Python和数据可视化平台(比如Tableau)之间的关系。

虽然案例隐掉了具体数据内容,但是数据量和整个过程是真实的,很有参考价值。

Tom的烦恼

公司有一个很棒的销售,属于技术性销售,很善于分析数据,从数据中找线索。我们称他为Tom吧。

Tom很擅长使用Excel,可以用Excel轻松的做出各种数据透视图和分析报表。

这种:

在这里插入图片描述

这种:

在这里插入图片描述
还有这种:

在这里插入图片描述
这周Tom遇到了一个难题。他从某个数据网站上下载了一份大的数据。有多大呢,2个G。而且数据格式是XML。

在这里插入图片描述
XML也是一种很常见的数据格式,在JSON和Restful统治网络之前,它是王者,现在仍然是很重要的数据格式。下面是一个XML片段:

在这里插入图片描述
这下Tom很为难!首先这么大的文件,根本打不开;再者了,XML格式无法用Excel处理。

解决方法

烦恼了半小时后,善于学习的Tom想到了Excel之外的技术 - Python。

如果用Python去读取这个大文件,然后再转成Excel能够读取的CSV文件。是不是就可以了呢?应该可以!

Tom学过一点Python,但是感觉自己不知道如何下手写代码。

❝ 至少Tom学习过一点,虽然没能力写出很复杂的代码, 但当遇到问题的时候,能够有思路。这是在解决问题上及其重要的一步。

于是Tom找了一个程序员帮忙,最后他们比较好的解决了这个问题。最终解决的步骤是这样的:

  • 用Python读取大文件。Python可以一行行的读取数据,所以文件大不是问题。
  • 读取出的XML数据转换成CSV格式。
  • 由于行数太多,每80万行数据保存一个新的文件,否则Excel还是打不开。
  • 用Excel打开解析好的CSV文件。一旦能用Excel打开了,就进入了Tom擅长的领域。

这样基本上遇到了Tom的问题,但是并不完美。因为每个月都会有一份这样的大文件。虽然通过Python转成Excel以后能够处理本月的数据,但是无法进行跨月的数据分析。

所以他打算做进一步的优化,大致思路是这样的:

  • 每个月把数据存放到数据库。
  • 用Tableau连接到数据库,在Tableau上做数据分析和可视化。

这样数据就都打通了:

在这里插入图片描述
而且有了Tableau这个平台,分享和查看就更方便了:

在这里插入图片描述

总结和建议

在这个真实的例子中:

  • 使用Python是为了更方便的处理数据,或者说是为了自动化。
  • 处理完了数据,很可能还是要用Excel去进一步处理或者查看的。毕竟Excel要方便的多,可以随意修改,做过滤等等。
  • 为了更加系统的分析,串联这些数据,可能会使用Tableau等更专业的数据分析平台。

所以这些技术完全不冲突,而且会互相补充,共同完成复杂的工作。

❝ 有时候广告中会把它们对立起来,那完全是为了通过标题吸引流量,不用太认真。

❞

希望本文能给小白解惑。如果你想学习Python,或者Excel,或者Tableau都完全不用犹豫,不用担心它们会冲突。多多学习是永远不会错的。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了,给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了。

四、实战案例

光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有阿里大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。


这份完整版的Python全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

Testlink数据转换工具:Excel与XML互换指南 本文还有配套的精品资源,点击获取 简介:Testlink转换工具提供了一种高效的数据转换方式,以便在Excel表格和XML结构化数据格式之间进行互转,便于在Testlink测试管理工具中导入和导出测试用例及数据。本工具支持自定义字段映射、格式保留、版本控制和错误处理等功能,通过易于遵循的步骤简化数据管理流程,提高工作场景下的工作效率。 1. Testlink转换工... 阅读详情

相关推荐

XML2Excel:将 xml 转换为字典然后将其打印到 excel 的 Python 脚本

XML2Excel 将 xml 转换为字典然后将其打印到 excel 的 Python 脚本

如何打开大容量的Excel文档?

如何打开大容量的Excel文档?

IT民工 1万+

超大xml文件查看工具

超大xml文件查看工具,可以轻松打开几百兆的xml文件。

R语言和Excel能带动2G的数据吗

MySQL入门

Dstern123的博客 397

xml2excel,java解析xml文件

java解析xml文件

matlab电容式传感器仿真,差动电容式位移传感器的仿真研究

设计了一种差动电容式位移传感器,主要对传感器的数学模型及电容检测电路进行了仿真研究。其中检测电路设计主要包括正弦激励电路、转换桥路、信号放大电路、精密整流电路和滤波电路。最后利用Matlab/SimurFnk软件对所设计的系统进行仿真,并分析了传感器性能。仿真研究表明,传感器及其检测电路具有合理性,测量范围内具有很好的线性度。0|| I≯ lat on ii{差动容尊翩’亘研发注:湖南省教育厅资...

weixin_36323601的博客 1391

如何在Win32下操作大于2G的文件

最近帮导师写一个点云播放器,需要读取5个左右的文本文档。主要想到了有两种方法来解决这个问题:一是将文件一次性读取到内存中,这种方法比较省事,但是读取过程时间太长,无法忍受;第二种方法就是逐帧读取的方式,这种方式若想实现任意帧的访问,则必须知道文件指针在文件中的位置。 当文件小于2G时,使用fseek和ftell可以获取文件的大小。当文件大于4G时,使用_fseeki64和_ftelli64,如果

长剑一挥的博客 1805

基于STM32的双串口同时工作的详细指南(含完整代码示例)

STM32是STMicroelectronics(意法半导体)公司推出的一系列基于ARM Cortex-M内核的微控制器,广泛应用于嵌入式系统中。STM32系列微控制器具有高性能、低功耗和丰富的外设接口,适用于各种应用场景。USART(Universal Synchronous/Asynchronous Receiver/Transmitter)和UART(Universal Asynchronous Receiver/Transmitter)是串口通信的两种方式。

m0_57781768的博客 3805

TestLink导出用例转换工具(XML2Excel)

因工作需要将Testlink用例导出为Excel文件,借鉴网上部分代码后实现。 功能为:从TestLink导出的用例或用例集,通过工具转换为Excel文件,界面显示转换的每条用例,统计每次转换的用例数。

Jack影像一点点 1295

【fMRI实战】从fALFF/ReHo双样本t检验到GRF矫正:DPABI结果可视化与报告全流程

本文详细介绍了使用DPABI进行fMRI数据分析的全流程,包括fALFF/ReHo双样本t检验、GRF多重比较矫正、结果可视化与报告。重点讲解了DPABI Viewer的操作技巧、GRF参数设置要点、脑区定位方法以及结果提取与可视化技巧,帮助研究者高效完成fMRI数据分析与报告。

weixin_32612263的博客 420

力扣(Leetcode)第1题:两数之和(C语言版本)

题目: 给定一个整数数组 nums 和一个整数目标值 target,请你在该数组中找出和为目标值 target 的那两个整数,并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是,数组中同一个元素在答案里不能重复出现。 你可以按任意顺序返回答案。 示例 1: 输入:nums = [2,7,11,15], target = 9 输出:[0,1] 解释:因为 nums[0] + nums[1] == 9 ,返回 [0, 1] 。 示例 2: 输入:nums = [3,2,4], target = 6

qq_39855356的博客 3330

体育数据分析职业路径:从业务翻译者到决策影响者

体育数据分析并非单纯的技术应用,而是一种融合体育业务逻辑与数据表达能力的交叉学科。其核心原理在于理解体育组织内部的数据决策链路——从比赛录像标注、球员负荷监控,到球迷行为归因与商业ROI测算,每一类岗位都依赖特定的数据解释框架与业务语境对齐。技术价值不在于算法复杂度,而在于分析结果能否被球探、教练或商业负责人快速理解并用于下一次战术调整或资源投放。典型应用场景覆盖NBA赛场表现分析、英超球员健康建模、NFL票务预测及MLS球迷分群运营等。本文聚焦‘Sports Analytics 101’所代表的真实入门逻

weixin_30655569的博客 333

Android 12,通过JNI写framebuff实现白板书写加速

Android 书写加速

448313096@qq.com 1204

如何在 Linux 上查看 2 G 的大文件?

相反,你应该使用可以流式处理文件的工具,这样你只需要加载文件的一小部分到内存中。是一个更简单的工具,它只允许你向前滚动文件内容。当一屏内容显示完后,它会暂停并等待用户按空格键或回车键以显示下一屏。会加载整个文件到内存中,但它会分块处理,所以即使对于大文件,它通常也能很好地工作。如果你只是想快速查看文件的内容,在 Linux 上查看大文件(例如 2GB 或更大的文件)时,通常不建议使用像。如果你只想查看文件的开始部分或结束部分,可以使用。中一样浏览文件内容,但你不能编辑文件。允许你向前和向后滚动文件内容。

m0_56653160的博客 998

Python爬虫实战:新浪财经股票金融数据全方位抓取教程

本教程系统介绍了新浪财经股票数据爬取技术,从静态网页解析、实时接口请求到异步爬取和数据存储,帮助你搭建了一个完整的金融数据采集流程。未来,可以结合深度学习模型进行行情预测,或者将数据接入量化交易系统,实现自动化投资。

2201_76125261的博客 2210

FFMPEG音频开发: Linux下采集摄像头(使用V4L2框架)数据录制成MP4视频保存到本地

一、环境介绍 操作系统介绍:ubuntu 18.04 FFMPEG版本: 4.4.2 摄像头: USB摄像头、虚拟机挂载本机自带摄像头 二、FFMPEG与X264下载编译 X264下载地址: http://www.videolan.org/developers/x264.html FFMPEG下载地址:https://ffmpeg.org/download.html Yasm ...

8876

超大XML文件怎么打开

xml文件太大(我的文件有1.5G)会导致普通的编辑器无法打开,原本在Windows系统上安装了sublime text,以为可以打开的,毕竟曾经确实用它打开过,而且mac上也是可以打开的。但这次安装的这个不知道什么原因老是出现“已停止工作”,令人无奈,所以只能换一个软件:UltraEdit 这个软件瞬间就打开了,也不用装什么插件解决乱码,真是好用!

1万+

【WRF安装】WRF环境配置移植详细说明

【WRF安装】WRF环境配置移植详细说明

WW、forever的博客 820

如何用python读取大的xml文件,示例为1.9G的xml文件

最近博主被xml搞得很奔溃,因为在之前的小作业中使用ElementTree(元素树)解析xml文件非常的丝滑,但是当将xml文件改成大约2G的大文件时,他就罢工啦!xml的文件格式如下图所示:博主搜索过如何修复这个问题的方法,大部分人提到的是用lxml和iterparse,虽然它在google中是排列第一的解决方案,但是博主发现它已经是2014的,而且感觉修改起来比较复杂,博主还在优快云中发了问答,然后突然想起我们的chatGPT小宝贝。

weixin_43354214的博客 876

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

xml转excel(Office XML转excel)

旧版的 excel 文件 Office XML是xml类型的,也成为SpreadsheetML类型,很古老的excel类型了是2002年左右的格式,现在的格式都是用的 xls 或者 xlsx。遇到的问题就是要把xml类型的 Office XML转化为 xlsx的excel,所以写了本篇文章方便以后遇到这个问题的人。(注意,本文的代码只支持横向的单元格合并,纵向合并的单元格因为会受到横向合并的单元格而对不齐) 二、解析类 SAXHandler类 XmlConvertExcel类 XmlRow类 三、测试

西凉的悲伤博客 6231

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

快速解析XML

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34413065的博客 172

Statistics and Machine Learning Toolbox

Statistics and Machine Learning Toolbox(带书签),MATLAB统计学习工具

【办公软件】XML格式文件怎么转Excel表格文件?

我们现在在路径中选中这个XML格式的文件,然后鼠标右键,选择用WPS表格打开后,可见XML格式的文件已经自动转换成了Excel表啦。

杰西笔记 2327

用fopen打开2G以上大文件

fopen打开2G以上的文件,是无法打开的,我估计是跟32Bit有关系,跟内存大小有关系。     网上说的一些方法:     (1)用fopen64     (2)#undef   _FILE_OFFSET_BITS                #define   _FILE_OFFSET_BITS   64                #include         

zxh821112的专栏 6698
上一篇: 2022年开端,创业撸Python多年的老王,准备换50万的车了
下一篇: AI算法让猛男变成娇羞的萌妹子,害苦多少网络少年
Python_金钱豹
博客等级 码龄5年 1万+粉丝 2841原创
评论 5
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值