mmayanshuo的博客

这里我们爬取的小说是网站：笔趣阁，其中一本小说：一念永恒。 （一）准备阶段 1、网站URL：http://www.biqukan.com/1_1094/ 2、浏览器：搜狗 3、我们打开网址，找到搜狗浏览器的审查元素（F12），可以看到标签中的内容是我们想要的小说每个章节的链接地址。 4、我们单击其中一个章节的链接。我们发现，每个章节的正文内容放在了 标签中。 有了这些了解，

前言：本篇博客将爬取顶点小说网站全部小说、涉及到的问题有：Scrapy架构、断点续传问题、Mongodb数据库相关操作。背景：Python版本：Anaconda3运行平台：WindowsIDE：PyCharm数据库：MongoDB浏览器工具： Chrome浏览器前面的博客中已经对Scrapy作了相当多的介绍所以这里不再对Scrapy技术作过多的讲解。一、

背景：Python版本：Anaconda3 数据库：MongoDB 爬虫框架：Scrapy IDE：PyCharm前言：前面我们已经安装和配置好Mongodb，接下来让我们在编程中获得对Mongodb更多的了解。 MongoDB安装教程：Python网络爬虫（六）：MongoDB安装和使用（windows）一、可视化工具安装、连接数据库：面对命令行的Mongod

背景：Python版本：Anaconda3问题描述：最近在运行scrapy项目时，本来安装好好的scrapy框架突然报错，猝不及防，ImportError:DLL load failed：操作系统无法运行%1如图： 自己也是百思不得其解。网上百度，发现并没有很广泛适用的解决方法，尝试了网上这种解决方式，发现并没有什么用。 最后我找到了

背景：Python发行版本：Anaconda3（Python3） IDE：PyCharm 运行平台：windows前言：Scrapy是一个流行的网络爬虫框架，它拥有很多简化网站抓取的高级函数。 现在Scrapy已经推出Python3版本，给做网络爬虫很大的助力。（一）Scrapy简介Scrapy流程图： Scrapy主要包括了以下组成部分： 1、引擎（Sc

前言：最近正在学习Python网络爬虫，学到selenium，需要用到chrome浏览器的驱动，但是网上的很多地址都被墙了，而且没有准确的驱动和chrome版本的映射，很麻烦。现在我已经解决了这些问题，现在把映射和下载链接分享出来。（一）查看chrome版本（1）通过键入地址查看：打开浏览器，在地址栏输入：chrome://version （2）依次点击，自定义及控制–>帮助–>

说明： Python版本：Python IDE：PyCharm chrome版本：我的版本63 chromedriver.exe：因为是模拟浏览器访问，chrome需要再下载一个驱动，具体方式在我的上一篇博客，内容很详细。传送门：Python网络爬虫（三）chromedriver.exe与chrome版本映射及下载链接：一、selenium（1）selenium简介：为什么用selenium

（一）安装MongoDB:MongoDB3.6版本是个坑！坑！坑！安装时卡到安装进度条很长时间，卡到你怀疑人生！点cancel也没反应，气不气！！！ 解决方案：下载3.4版本。详细安装步骤：（其中一些截图是安装3.6版本时截的，后来放弃了3.6，改装3.4，安装步骤是一样的）1、进入MongoDB官网：https://www.mongodb.

1 python 连接mysql 导入MySQL驱动: import mysql.connector 注意把password设为你的root口令: conn = mysql.connector.connect(user=’root’, password=’password’, database=’test’) cu

常见的几种创建字典的方式：（一）直接赋值创建：dic1={'a':1,'b':2,'c':3,'d':4,'e':5}print(dic1) （三）通过关键字dict和关键字参数创建dic = dict(a = 1, b = 2, c =3)（四）通过二元组列表创建list = [('a', 1), ('b', 2), ('c', 3)]但是，我感觉在编程过程中最常用的方法是：dict和zi