
python
文章平均质量分 92
致命的西红柿
努力学习天天向上
展开
-
Python爬取CNKI论文的信息
学了2天,简单的来总结一下。因为毕业设计是有关于推荐系统的相关内容,利用python爬取文献库是里面最基础的一步。代码无任何难度,不懂得直接复制代码上网查询也能明白具体代码的意思。选择CNKI的原因很简单:1、知网的网页源代码中,查询的结果是存储在iframe里面的,单纯的python+request是很难读取到iframe里面的内容的。我爬了一个晚上没爬出来。。2、CNKI的网页源代码中,查询的结果没有iframe等框架,相对来说容易爬取。1、利用post的方法获取网页信息CNKI和其他文献库原创 2020-05-13 19:24:32 · 4061 阅读 · 2 评论 -
Scrapy 的详细安装过程(有所需软件的下载链接Microsoft visual c++14.0 pywin32)
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架结构,可以应用在数据挖掘,信息处理或存储历史数据的一系列程序中。Scrapy最初是为了页面抓取所设计的,也可应用在回去API所返回的数据或者通用的网络爬虫。由于Scrapy目前不支持Python3的内容,所以我们需要下载Python2.7来使用Scrapy。安装了Python3的朋友们不用担心,Python2.7可以和Pytho...原创 2018-08-01 15:57:14 · 2127 阅读 · 1 评论