learn_helloword的博客

1.tools==>options==>https选中 capture httpsdecrpyt https trafficingore xxx然后安装信任证书。配置完毕 重新启动2.抓包<>： html内容{json}：json数据 可能是个接口{css}， {js}： 页面的css.js文件file==》capture去掉勾勾点击请求： 右边选中 Inspectors右上： 请求信息raw：请求头部的详细信息webforms：请求所带参数 右

创建项目scrapy startproject project_name生成spider文件注意： 爬虫名字不要和项目名字重复#scrapy genspider [爬虫名字] [目标网站域名scrapy genspider usnews xxxx.com运行名为usnews爬虫scrapy crawl usnews#将爬到的数据导出为json csvscrapy crawl usnews -o usnews.jsonscrapy crawl usnews -o usnews.csv