爬虫尝试抓取动态网页

之前写过一篇使用爬虫抓取暗黑3玩家数据，由于凯恩之角数据总是不更新，那个爬虫意义不大

其实官方网站也是可以看到玩家数据的，我当时没有去爬的原因是...网页源代码和网页展示的数据不一样，知道最近我才知道那是动态网页

百度了半天，感觉有一种方式比较简单，就是F12使用开发者工具，去找到加载网页的时候发送的request url

比如说我要爬取玩家‘可乐加冰-5750’的数据，他的个人数据页为：

http://d3.blizzard.cn/profile/可乐加冰-5750

我们使用开发者工具，点击其中一个人物，进入任务详细页面：

我们通过request url，可知这是一个数字id48423858的人物的数据，稍改一下，删去hero/48423858，可以看到

虽然网页上什么也看不到，但我们看下网页源代码，很惊喜的发现有‘可乐加冰-5750’的所有人物数据

好了，大抓特抓吧

明天周三一天没课，打算用几天的时间，写一个爬取任何玩家的信息（前提要知道该玩家的BattleTag），包括人物主要属性，装备及其词缀，还有一些玩家的生涯数据。力求界面友好。工程量肯定要大于之前，希望一切顺利吧

终极目标，这学期要学数据库，希望能将爬虫获得的数据写入我的数据库，可以统计譬如全服各职业前1000名玩家的出装、萃取情况