qq_42336581的博客

pg 数据库 查看版本号

一、Redis下载及安装1，下载地址：https://redis.io/download （安装过后 没有redis-server.exe ,redis-cli.exe,这里不建议下载，不然会很麻烦。）2，推荐下载地址链接：https://pan.baidu.com/s/1mwQQQP6A6ITq0sMweWbCBA 密码：4039  3，安装过之后，配置环境变量。之后找到计算机管理自启二、在命令...

一、mongodb的特点是一个面向文档存储的数据库，操作起来比较简单和容易GridFS是MongoDB中的一个内置功能，可以用于存放大量小文件MongoDB支持各种编程语言:RUBY，PYTHON，JAVA，C++，PHP，C#等多种语言。MongoDB安装简单。二、 下载MongoDB，按你的系统位数去下载，下载网址https://www.mongodb.com/download-center#...

一、在Python的terminal 1、敲命令pip install pyspider安装pyspider2、看到图中方框里的句子表示成功安装二、在浏览器中下载phantomjs软件1、下载好之后解压到文件夹中，找到bin文件夹下的phantomjs.exe并文件将其复制到与python.exe同一级文件夹中2、粘贴过之后是这样的3、在cmd窗口中敲pyspider all启动4、如果出现0.0...

一、将我们再命名的文件中的代码写好之后yield item中 item = HongxiuItem() item['title'] = title item['author'] = author item['tags'] = tags item['total_word_num'] = total_word_num ...

一、简单的介绍一下scrapy 官方文档自带的代码比较多但是改的地方比较少，而第二种方发 代码量较少，但是改的地方较多。1、第一种方法；官方文档法。我们可以去settings中复制文档网址进官方文档进行复制粘贴。（pipeline中只需要修改三处，）https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlimport pymongoc...

一、爬取分类图片 并分类保存本地的写法。1、用scrapy 爬取图片的思想。我们一定要找到图片的下载地址即src，第二我们还要找到图片分类标题作为我们的文件夹的名字。（1）首先我们在spider文件夹中，找到我们的文件名            sucai = SucaiItem() sucai['img_url'] = [img_url] # 图片的下载地址,即src,...

一为什么要用异步存储呢？1、数据库pymysql的commit()和execute()在提交数据时，都是同步提交至数据库，由于scrapy框架数据的解析和异步多线程的，所以scrapy的数据解析速度，要远高于数据的写入数据库的速度。如果数据写据写入过慢，会造成数据库写入的阻塞，影响数据库写入的效率。2、通过多线程异步的形式对数据进行写入，可以提高数据的写入速度。from pymysql impor...