python爬虫——爬取简书文章

       这段时间在做的事情需要从网上获得一点资讯类似文章啊、电影啊、新闻啊等等，看了很久感觉用简书这个网址来做爬虫相对来说简单一点，可以不需要设置登录啥的就能够获取到内容，相比较起来已经很容易了。
（一）分析页面结构
       我选择了一个简书的专题，就是固定的一个url，专题里面文章也比较多，如果需要多个专题，把专题链接复制下来写在一个数组里面让爬虫循环爬就可以。本次就举一个固定的url为例来写。
打开Chrome的开发者工具，就会出现页面的结构。（之前用火狐浏览器感觉也挺方便的）一层层打开可以找到显示文章的标签

       可以发现需要爬取的文章在<li>这个标签下，<a>标签为标题和链接，<p>为文章摘要，下面还有作者名字、点赞数等等，我主要需要获取标题、摘要以及文章链接即可。

                               

 

（二）处理获取到的文本

        爬虫爬下来的是整个页面的xml文本，需要找到我们所需要的东西还得经过处理才行，这里选择用xpath来处理，我觉得还挺好用的。
        xpath相关语法可以参照这个：http://www.w3school.com.cn/xpath/xpath_syntax.asp

        先设置各个路径如下：

#获取所有 li标签
xpath_items = '//ul[@class="note-list"]/li'
#对每个 li标签再提取
xpath_link = './div/a/@href'
xpath_title = './div/a[@class="title"]/