冷巷(✘_✘)的博客

还记得 scrapy生成格式导出如：JSON，CSV和XML 吗。通过这个小小的案例就会发现，用scrapy来爬可比平时一点一点来爬方便多了！在h2标签下的a标签里面，直接用xpath来定位。这里的话直接运行是没什么效果的，要到命令行执行。把start_url修改成我们开始爬的地址。打开pycharm后点开命令行，我们回到pycharm修改一下。如果点一个xml的话就是文字，加个extract来提取一下。而改成CSV的话，就舒服了。那么回到网站来分析一下，然后新建一个py文件，...

点ok然后点thiswindows，就是在当前窗口打开，关掉之后再打开还是这个项目，如果点newwindows的话就是新窗口打开，重启后是之前的项目。这里的第一个baidu是名字，然后跟着域名。是开始的地方，想从哪里开始爬就从这里修改就行了，下面的parse()是解析的。可以cd到那个项目，但是这里直接在file里面打开就行了！简单明了，颜色都不一样，直接可以看到自己想要爬取的内容。上面是检查你的scrapy的配置，版本之类的东西，然后。是项目的名字，这个可以随便写的。这个是创建一个spider，...

1）scrapy是python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。2）scrapy用途广泛，可以用于数据挖掘、监测和自动化测试、信息处理和历史档案等大量应用范围内抽取结构化数据的应用程序框架，广泛用于企业3）scrapy使用twisted这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。scrapy是由twisted写的一个受欢迎的python事件驱动网络框架，他使用的是非堵塞的异步处理。...

1、创建爬虫项目:scrapy startproject Baidu2、cd到项目文件夹：cd Baidu3、创建爬虫文件：scrapy genspider baidu www.baidu.com （前面一个baidu和上面的是一样的，可以改的，但是后面这个到浏览器的）4、定义要爬取的数据结构 items.py import scrapyclass Baidultem(scrapy.Item): xxx = scrapy.field() xxx = scr...