learn_helloword的博客

1.tools==>options==>https 选中 capture https decrpyt https traffic ingore xxx 然后安装信任证书。 配置完毕 重新启动 2.抓包 <>： html内容 {json}：json数据 可能是个接口 {css}， {js}： 页面的css.js文件 file==》capture去掉勾勾 点击请求： 右边选中 Inspectors 右上： 请求信息 raw：请求头部的详细信息 webforms：请求所带参数 右

创建项目 scrapy startproject project_name 生成spider文件 注意： 爬虫名字不要和项目名字重复 #scrapy genspider [爬虫名字] [目标网站域名 scrapy genspider usnews xxxx.com 运行名为usnews爬虫 scrapy crawl usnews #将爬到的数据导出为json csv scrapy crawl usnews -o usnews.json scrapy crawl usnews -o usnews.csv