- 博客(4)
- 收藏
- 关注
原创 简易爬取豆瓣TOP250数据并存储(mysql)
简易爬取豆瓣TOP250数据并存储 最开始接触的实例就是豆瓣top250的爬取,现在想起来,给他细化一下 预置数据库 为了方便后续处理,建立了一个“爬虫”数据库,在其中建立了一个“doubantop250”表 表结构如下: 重点在数据爬取这里,所以没有特别去强调主键外键什么的 对应数据内容依次为序号、电影名称、别名、评分、一句话简介、评价人数、导演 数据爬取(xpath、requests)...
2020-03-10 15:10:17
752
2
原创 通过黑板课爬虫游戏复习爬虫知识(第二关)
通过黑板课爬虫游戏复习爬虫知识(第二关) 第二关地址: http://www.heibanke.com/lesson/crawler_ex01/ 不难发现,其实他们关卡的url也是有规律的…… 第二关相较于第一关,主要是在考察表单的提交 很尴尬的是 我测试的时候第一个数字就成功了…… 所以代码采用的是‘!=’恭喜’’的状态 我的思路就是提交表单后读取文本,进行判断,一旦不符合条件,就继续执行,直到...
2020-02-27 22:58:35
190
原创 通过黑板课爬虫游戏复习爬虫知识(第一关)
通过爬虫游戏复习爬虫知识(第一关) 打算复习一下爬虫基础 为了防止太枯燥,就选择了黑板课的爬虫游戏 本文含3.5以上etree模块无法运行的解决思路 第一关地址:http://www.heibanke.com/lesson/crawler_ex00/ 点进去看的话,第一关就是让你按照他给出的提示输进去数字 次数多了以后会提醒你用爬虫的方法 思路很简单,查看源代码之后,利用request和lxml转...
2020-02-27 22:04:24
227
原创 试图捡起丢了很久的PAT甲级(python)1001+1002
试图捡起丢了很久的PAT甲级(python)1001+1002 待在家里好好学习吧!!!!!!! 新的开始 计算机科学与技术废柴程序媛的PAT甲级python刷题记录。 没啥耐心 能写多少写多少 乙级87(python) 菜鸡一枚 缓更 努力拜托做一个奇怪的python超时体验者 小学生级别代码 大佬轻喷 垃圾英文,仅能看懂大意 有时间会考虑优化、简化代码 1001 A+B Format 大意...
2020-01-29 22:41:41
324
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅