no_do的博客

以上是咱们今天要爬取的图片，可以看到这个游戏壁纸主题有35页，咱们不是要爬取这35 页的图片。这个页面的尺寸也不是高清原图。我们发现点进去后能看到高清图，如下：         这个就是咱们想要的内容了，这个页面主图是只有一张，蒙多这个主题是有10张的，我们可以在主图上点击下一页，跳转到下一张。这里很适合我们使用selenium去爬取了。         直接来分享我的爬取思路吧，代码如下：from se.

百度英雄联盟，进入官网，在游戏资料里面找到所有英雄数据在页面F12中network中找到hero_list.js,所有的数据都在这里面，接下来就简单了，直接放上代码将数据储存到mysqlimport requestsimport jsonimport pymysqlurl = 'https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js'conn = pymysql.Connect(host='127.0.0.1...

import requestsimport xlwtfrom bs4 import BeautifulSoupdef analyse(url,datelist): header ={ "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" } resp = req