生命在于折腾

还是接食行生鲜签到的问题，之前我们讲到，将签到结果通过短信发送到手机，但是我发现 twilio 有些不稳定，为了防止漏签，我在服务器上设置了两次定时任务，通常情况下第一个收不到短信，第二个才会收到。看到最近好多大神写操作微信的文章，于是，我又想，是不是可以将消息发送到微信上？微信发送消息有如下几个思路：itchat 模块使用个人公众号使用其他公众号封装好的发送消息的功能；...

第三章中主要介绍了简单的文件读取和简单的异常处理操作。

第四章主要涉及文件的写入，包括使用with语句、pickle处理文件等。

本章的目的是学习简单的数据处理，首先给出了一些文本数据，需要将这些文本数据读取，并转换为列表，然后对列表中的数据进行统一格式化，最后进行排序。

本文将涉及到字典和类。字典可以有效地组织数据，可以将数据与名称关联（类似于Map），从而实现快速查找。另外，也可以自定义类来处理一些功能，通过为对象增加一些属性和方法完成所需的功能。

上回 Python 爬虫闯关（第四关） 中，我们发现程序执行过程非常漫长，将近 24 分钟啊！另外页面也有提示说：网页会慢半拍。那么也许需要一个高效率的方法进行解析，多线程？题意再理解本关的题目内容，这里再简单说一下：不清楚的翻下历史。页面给出了闯关所需密码的随机位置，以及该位置的值，我们需要遍历所有页面，获取到 100 位的密码。其中，值得注意的两点：每一页的载入速...

地址：http://www.heibanke.com/lesson/crawler_ex03/本关的难点是从页面解析并拼接出需要的目标密码，理解题目很重要啊~另外获取密码的页面加载耗时很长，也需要考虑如何处理。解题思路首次进入题目页面，同样的跳转到了登录页面：登录成功后，出现如下页面，发现还是猜密码。但这次不是试出来的需要找出来，那从哪里找呢？先随便输入个密...

上回我们说到怎么把签到结果发出来，于是就找到了 Twilio。Twilio 是一个位于加利福尼亚的云通信（PaaS）公司，致力于为开发者提供通讯模块的 API。由于 Twilio 为试用帐户提供了免费电话短信服务，我们可以在申请需要短信验证的国外免费资源时，使用 Twilio 在线实时收取验证短信。下面，本站就详细介绍一下 Twilio 的申请及短信发送过程。注册及设置访问 h...

爬取网页的流程一般如下：选着要爬的网址（url）使用 python 登录上这个网址（urlopen、requests 等）读取网页信息（read() 出来）将读取的信息放入 BeautifulSoup使用 BeautifulSoup 选取 tag 信息等可以看到，页面的获取其实不难，难的是数据的筛选，即如何获取到自己想要的数据。本文就带大家学习下 BeautifulSoup 的...

上回我们讲解了 Beautiful Soup 的基本使用方法，这次就带大家使用 Beautiful Soup 进行实战。这次要抓取的目标是豆瓣电影 TOP250，解析出其中的电源名称、评分、简单评价、评价人数等信息，其 base_url 是 https://movie.douban.com/top250。其实简单的网络爬虫无外乎查看网页源码，从源码中获取自己想要的东西，然后对其进行处理。...

有时候一些普遍的设计模式应用得非常广泛，慢慢的就形成了一种语法，或者叫 语法糖，Python 中的列表推导式 就是其中的典型代表。列表推导式是一种可以让代码更简洁，并且可以增加可读性和执行效率的方法，但是要掌握好这个语法则有些难。下面就带你好好认识下 列表推导式，学完之后你就知道这个语法糖有多「甜」。1 从一个例子开始事情的起因是这样的，在交流群里，一个小伙伴问如何把下面这种数...

最近一周一直在帮家里小弟看高考志愿，所以更新的没那么频繁了，请大家见谅。在看各高校的往年分数时，忍不住手痒，想着能不能给它爬下来？哈哈，说干就干！1 流程分析之前无意中在这个网站发现有各个高校的历年录取分数线：https://gkcx.eol.cn。我们的目标是用 Python 将下面页面的数据导出到 Excel：这个页面的 URL 是：https://gkcx.e...

在前面抓取高考分数线的文章中，我们用到了 openpyxl 模块来存储数据到 Excel，今天带大家学习一下该模块的详细使用。根据官方文档，openpyxl 是一个用来处理 xlsx/xlsm/xltx/xltm 格式 Excel 文件的 Python 代码库，同时支持 Pandas 和 NumPy 等包，能够绘制图表，并且同样支持格式控制等，详细文档可以参考： https://openp...

Python 3.6 提供了一种新的字符串格式化方法：f-strings，不仅比其他格式化方式更易读，更简洁，更不容易出错，而且它们也更快！看完本文后，你将了解如何以及为何要使用 f-strings。首先，我们先了解下现有的字符串格式化方法。在 Python 3.6 之前，字符串格式化方法主要有两种：%格式化 和 str.format()。下面我们简单看下它们的使用方法，以及局限。...

在学习爬虫时，遇到了一个有意思的网站，这个网站设置了几个关卡，需要经过爬虫进行闯关，随着关卡的网后，难度不断增加，在闯关的过程中需要学习不同的知识，你的爬虫水平也自然随之提高。 今天我们先来第一关，访问http://www.heibanke.com/lesson/crawler_ex00/：按照提示，我们把数字放到地址栏的后面，再次进行访问：发现，还要再用新的数字放在地址栏进行...

我们都知道，标准的元组 tuple 是使用数字索引来访问其中的成员的，但是在使用时要记住要哪一个数字索引对应哪一个成员值是有点困难的，往往会引发错误，特别是在元组包含了较多的成员时。这个时候，我们的主角要登场了：namedtuple，它会为每个成员分配一个索引的同时，再分配一个名称，使用起来就像一个「类」。namedtuple 主要用来产生可以使用名称来访问元素的数据对象，通常用来增强...

Python 中的 for 循环和其他语言中的 for 循环工作方式是不一样的，今天就带你深入了解 Python 的 for 循环，看看它是如何工作的，以及它为什么按照这种方式工作。循环中的陷阱我们先来看一下 Python 循环中的「陷阱」，在我们了解了循环的工作方式后，再来看下这些陷阱到底是怎么出现的。陷阱 1：循环两次现在我们先假设有一个数字组成的列表，和一个用于返...

在上次第一关爬虫闯关成功后，我们会得到第二关的地址：http://www.heibanke.com/lesson/crawler_ex01/。分析打开页面，如图：根据提示，随便输入一个昵称和 30 以内的数字，提交后，提示密码错误：题目意图很明显了，就是猜数字！下面我们就要分析传入到后台的数据是什么，我们要做的就是：按下 F12。我们在提交数字后，可以看到发我后...

第三关开始有点难度了，本关的难点就是所谓的两层认证，需要获取处理 cookie。闯关地址是：http://www.heibanke.com/lesson/crawler_ex02/页面分析刚进入页面时没看懂是怎么玩，以为到这就结束了，抱着试试看的态度注册了下。注册登录后，发现是一个记账点之类的，网页还没有跳转到题目网页，还不知道怎么玩。重新从题目地址进入后，发现可以玩了...

对于我这种习惯了 Java 这种编译型语言，在使用 Python 这种动态语言的时候，发现错误经常只能在执行的时候发现，总感觉有点不放心。而且有一些错误由于隐藏的比较深，只有特定逻辑才会触发，往往导致需要花很多时间才能将语法错误慢慢排查出来。其实有一些错误是很明显的，假如能在写程序的时候发现这些错误，就能提高工作效率。这时候 Python 静态语法检查工具就出现了。 本文使用之...

Python 编程语言已经成为 IT 中使用的最流行的语言之一。成功的一个原因是它可以用来解决各种问题。从网站开发到数据科学、机器学习到任务自动化，Python 生态系统有丰富的框架和库。本文将介绍 Ubuntu 软件包集合中提供的一些有用的 Python shell 来简化我们的开发。Python ShellPython Shell 即原生的 Python 交互环境，可以让你以交...

用过食行生鲜的同学应该知道，每天可以在食行生鲜签到，签到可以领到 20 积分，在购物时可以抵 2 毛钱。钱虽少，但是积少成多，买菜时可以抵扣一两块钱还是不错的。今天我们就用 Python 来实现自动签到，省得我每天打开 APP 来操作了。分析要自动签到，最简单的是打开页面分析请求，然后我们用脚本实现请求的自动化。但是发现食行没有页面，只有 APP，这不是一个好消息，这意味着需要...

最近很多读者后台留言让我分享下我的 Python 学习资料，今天为大家带来一套 Python 视频教程，以及一些不错的 Python 电子书。关注最下方二维码后，回复 Python资料，即可获取。视频推荐之所以推荐这个版本的视频，一是因为年份较新，是 2017 年录制的，并使用 Python3 讲解，另外视频的内容也很全面，Python 的各个方面都有涉及，基本上可以做到从入门到精通了。另外，有些...

说起这个暑期档的动画片，非《哪吒之魔童降世》莫属了！上映第 1 天：89分钟，中国动画最快破 1亿纪录。上映第 2 天：中国影史首部单日票房破 2亿的动画电影。上映第 4 天：中国影史第66部破 10亿影片！上映第 8 天：正式登顶！破 16亿，超过《疯狂动物城》，创中国影史动画电影票房新纪录！上映第 9 天：成为中国影史第 17 部破 20亿 影片！上映第 10 天：破 23亿！连...