
爬虫
文章平均质量分 71
我重来
这个作者很懒,什么都没留下…
展开
-
scrapy保存为csv文件 再将csv导入excel方法,及导入excel时出错:"自文本导入 包含的数据无法放置在一个工作表中"的坑
今天从拉勾网爬取职位信息准备作数据分析,因为想用Excel做数据可视化,遂决定将爬取信息保存为csv文件,再导入excel中。scrapy 自带的 exporters 类下的方法 CsvItemExporter 可以用来保存Item数据为csv文件。scrapy.exporters.CsvItemExporter使用方法参看官方文档: Item Exportersclass LgspiderPip...原创 2018-07-11 18:20:30 · 5385 阅读 · 2 评论 -
网页元素节点选取之xpath测试——python lxml的etree方法
最近在用scrapy爬取数据,每次写一堆xpath语法,然后运行爬虫时由于xpath语法错误、或者逻辑错误亦或者节点不精准多做很多工作,于是想查查看有没有简易的xpath节点测试工具或方法:网上有xpath在线测试小工具,但这种在线测试网页在测试网页文本较大时测试匹配不出来,另外测试时匹配给的是匹配节点的子节点,要测试匹配节点属性选取时用不上。还有不少第三方小工具下载,小小测试再装个小程序不合我意...原创 2018-07-13 15:13:52 · 4198 阅读 · 0 评论