菜谱爬取
用scrapy对菜谱网站进行爬取学习
small_Dr
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
scrapy 存为csv时是按首字母排序的,解决:FEED_EXPORT_FIELDS
scrapy 存为csv时是按首字母排序的,解决:FEED_EXPORT_FIELDS 在setting.py中添加自定义顺序 FEED_EXPORT_FIELDS = [ 'name', 'comments', 'popular', 'feet', 'art', 'taste', ] 结果就是按我们设定的顺序,找了很多种方法,这个是最简单的。 name,comments,popular,feet,art,taste 熬虾油,31,15414,5,炒,其它口原创 2021-11-03 22:18:29 · 397 阅读 · 0 评论 -
菜谱url的爬取:url_info = each.xpath(“a/@href“).extract()[0]
先找到做法的链接在源代码的位置 <div class="listtyle1"> <a target="_blank" href="http://www.meishij.net/zuofa/ganbiansijidou_37.html" title="干煸四季豆" class="big"> xpath,item url_info = each.xpath("//*[@id='listtyle1_list']/div[1]/a").extract() item['url_inf原创 2021-11-29 21:30:28 · 918 阅读 · 0 评论
分享