人生苦短,学用python

本文作者分享学习和使用Python解决业务问题的经历。因网络趋势和实际需求开始学习Python,用其完成CSV数据清洗。介绍用Python的pandas模块读取CSV数据、写入MySQL及去重的方法,体现其高效性。最后强调技术提升和广泛涉猎的重要性。

1. 我为什么开始学着用 python 啦?

扯扯网上疯传的一组图片。网上流传《人工智能实验教材》的图片,为幼儿园的小朋友们量身打造的实验教材,可谓是火了。甚至有网友调侃道:python 将会从幼儿园一直陪你到考大学。活在当下,身为程序一猿,如果你不不知道 python,那就很有可能会成为新时代的“文盲”啦。

640?wx_fmt=png

看看编程语言趋势方向。在 TIOBE 发布的最新 5 月编程语言佳丽受宠排行榜,python 以高姿态,占据后宫佳丽排行榜第四,受宠爱程度提升远超其它佳丽,后宫佳丽中 python 可谓是5月人生大赢家。

640?wx_fmt=png

今天无心的尝试,便爱的死心塌地。关注我的朋友们都知道,近期一直忙于一个数据分析的产品需求。其中涉及到清洗大量 CSV 数据,正好近期在关注 python,决定尝试用 python 解决一下。对于一个用 python 连 HelloWorld 都未曾写过的小白而言,用了一下午的时间,完成了环境搭建以及业务数据的清洗工作。不得不说 python 容易上手写程序,而且代码写起来相对简单,对 python 的宠爱感从此而生。

2. 我是怎样学着用 python 解决业务问题的?

CSV 业务数据文件 python 如何读取?首先去网上搜罗了一把,其中熊猫 pandas 明星首先登场,映入眼帘。pandas 是 python 的一个数据分析包,可以进行高效处理数据,进而可以进行数据分析。可以采用 read_csv() 来完成文件的读取。

CSV 数据读取后如何写入 MySQL?庆幸的是熊猫 pandas 模块封装了 to_sql() 函数实现了对数据库的写入。

于是快速构建项目,拿出程序员的绝招:一顿 copy 、粘贴,操作猛如虎。一会儿的功夫,寥寥几行代码,就完成了千万级用户数据的读取并写入到 MySQL,大致统计了一下程序运行耗时: 129.492773 second。

但是去数据库中验证,按照证件号码去重统计,发现重复数据多的让我难以忍受,这数据可真够脏的。于是就去问百度:如何去除重复的数据啊?不得不说熊猫 pandas 功能很暴力、很强大。已经帮我们提供 drop_duplicates 函数支持去除重复数据。

在百度搜索、copy、粘贴猛虎操作下,借用 python 的 pandas 模块,聊聊几行代码完成了一个神奇的数据解析功能。

由此让我这个接触 Java 十几年的程序员,对 python 深感触动。如果你平时做大数据分析或测试的,那么不妨用用 pandas,如果涉及到数据的读取或存储,那么也不妨用用 pandas,势必会非常高效,基本上几行代码就可以搞定你上百行代码的神操作。

3. 写在最后

作为靠技术吃饭的,技术一定要放到第一位,而且任何时候都不能丢掉技术。另外要提升技术广度,要全方位涉猎技术,不是用到了才关注,用不到的技术也要关注,可以不需要特别深入,但是需要了解,因为开卷有益、厚积才能薄发。想想如果前台同事知道用 python 工具化去解决日常工作,效率势必也会大幅度提高。

好了,从今天开始,你也结识了 python 佳丽,再也不会成为新时代的“文盲”啦。后续隔三差五给大家奉上 python 的相关内容,请大家继续关注。

一起聊技术、谈业务、喷架构,少走弯路,不踩大坑。欢迎关注「一猿小讲」,会持续输出原创精彩分享,敬请期待!

 

### Python 编程语言的魅力 选择Python作为编程语言有着多方面的原因。作为一种广泛采用的语言,Python拥有简洁友好的语法特性[^4],这使得初学者能够快速上手并掌握基本概念。 #### 易于学习与应用 Python以其较低的学习门槛吸引了大量新手程序员。其简单的语法规则减少了初学者面对复杂句法结构时可能遇到的障碍[^3]。对于那些希望迅速投入到实际项目开发中的人来说,这种易学性无疑是一个巨大优势。 #### 庞大而活跃的社区支持 Python背后有一个庞大且充满活力的开发者社区,在这里可以获得各种形式的帮助和支持。无论是通过官方文档还是第三方资源,都能找到解决问题所需的信息和技术指导。此外,丰富的开源库进一步增强了Python的功能性和灵活性,使用户可以根据具体需求轻松扩展程序功能[^5]。 #### 广泛的应用领域 随着人工智能技术的发展,Python逐渐成为该领域的首选工具之一。众多强大的机器学习框架如TensorFlow、PyTorch等均基于此构建而成;同时,在数据分析、Web开发等多个方向也有着出色表现。因此,精通Python不仅有助于个人技能提升,还能为企业带来显著的竞争优势。 ```python import numpy as np from matplotlib import pyplot as plt # 使用 NumPy 创建随机数列 data = np.random.randn(100) # 绘制直方图展示数据分布情况 plt.hist(data, bins=20) plt.title('Data Distribution') plt.show() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值