
爬虫
文章平均质量分 81
趣谈数据分析
3年数据分析经验,现任上市公司高级数据分析师,公众号「趣谈数据分析」
展开
-
python爬取28万足球运动员数据,告诉你中国队为什么不能出线
中国队又没能在世界杯中出线,对此我准备从球员层面探求一下原因,意图通过数据分析拯救中国足球.一、数据抓取使用python暴力抓取懂球帝上的球员数据,如下图:主要包括球员基本信息,以及各项能力得分。import requestsimport timeimport pymysqlfrom bs4 import BeautifulSoupuser_agent = 'Your user...原创 2018-11-13 18:46:26 · 2943 阅读 · 10 评论 -
selenium模拟登陆新浪微博
selenium的安装其实安装很简单,安装之后一直报错不可用,最终在网上找到一个办法解决,安装之后,要下载对应的webdriver并且要把webdriver.exe放在浏览器的安装目录之下才能解决。selenium页面交互1、查找元素...原创 2019-01-18 17:33:02 · 436 阅读 · 0 评论 -
python每天定时爬取学校官网通知,并把通知发送到邮箱
项目背景:因为有时候要关注一些官网上的通知,比如政府网站、学校网站等等,这些通知往往具有时效性,而我们也不能保证每天都能去上网看,所以使用python做了这个小任务,每天定时爬取学校官网的通知,并发送到邮箱。这个小任务主要包括三部分:数据爬取邮件发送定时执行1、数据爬取这里我使用requests+beautifulsoup来进行数据抓取。首先抓取文章列表页的url,返回一个li...原创 2019-02-13 09:07:00 · 4863 阅读 · 1 评论