python定期爬取GitHub上每日流行项目

个人博客地址:http://hellogod.cn/

介绍一个在GitHub上看到的通用的python爬虫,难度不大,是一个蛮好玩的点,顺便总结一下python爬虫的一些需要注意的点。
先上链接:github源码

1. 项目简介

大家可以看一下这个网站 https://github.com/trending

随时关注最新的技术动向,永远是一个程序员应该做到的,但我们不能做到每天去查看,于是就诞生了这个repo(更正为原作者写了这个repo),我们将爬虫挂在Linux服务器上,定期爬取并且推送到自己的repo上,只要有时间,就可以看到之前的所有热门项目。

顺便说一句这样是不是还可以刷一波GitHub commit

代码po在了最后面

2. 关于python的私人总结

使用python开发爬虫的时候需要注意哪些?

1.区分python版本

python 2.x 3.x 差别很大,如果遇到就编译通不过,及早意识到进行修正还好,若是语法差别不大却没有意识到,有时候会给自己惹来很大的麻烦

2.关注几种易于混淆的数据类型
  • Tuples
  • Lists
  • Dictionary
  • Json
    需要格外关注这几种类型之间的转换,我们知道python是一种弱数据类型语言,但不代表着它的数据类型可以混用,反而,正因为弱化了声明,才让有些操作更加容易出错,这时候我们需要做的,就是仔细阅读文档,熟悉不同的用法。
    Tuples

Lists

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值