
菜谱爬取
用scrapy对菜谱网站进行爬取学习
small_Dr
这个作者很懒,什么都没留下…
展开
-
scrapy 存为csv时是按首字母排序的,解决:FEED_EXPORT_FIELDS
scrapy 存为csv时是按首字母排序的,解决:FEED_EXPORT_FIELDS在setting.py中添加自定义顺序FEED_EXPORT_FIELDS = [ 'name', 'comments', 'popular', 'feet', 'art', 'taste',]结果就是按我们设定的顺序,找了很多种方法,这个是最简单的。name,comments,popular,feet,art,taste熬虾油,31,15414,5,炒,其它口原创 2021-11-03 22:18:29 · 256 阅读 · 0 评论 -
菜谱url的爬取:url_info = each.xpath(“a/@href“).extract()[0]
先找到做法的链接在源代码的位置<div class="listtyle1"> <a target="_blank" href="http://www.meishij.net/zuofa/ganbiansijidou_37.html" title="干煸四季豆" class="big">xpath,itemurl_info = each.xpath("//*[@id='listtyle1_list']/div[1]/a").extract()item['url_inf原创 2021-11-29 21:30:28 · 701 阅读 · 0 评论