Hpsyche的博客

天气网站如下： http://www.weather.com.cn/weather/101281001.shtml 爬取各天气信息： """ 思路分析： ①div/ul/li，获得7天天气预报的所有信息； --lxml、requests、XPath --list类型 ②li下的所有数据进行提取数据； --对上述的7条数据进行处理，提取数据 XPath ③保存文件。...

由于最近自己在写个电商项目，需要大量的商品信息，故学习了下怎么爬取现有的商城商品信息。 爬取页面 爬取页面：http://category.dangdang.com/cid4002644.html，利用xpath检索到需要的数据，利用item={}（即map）将需要的数据保存其他，最终通过json将map保存到json/data.sjon中。 代码如下： # -*- coding: utf-8 -...