m0_65592409的博客

概念：约束是作用于表中字段上的规则，用于限制存储在表中的数据。目的：保证数据库中数据的正确、有效性和完整性。约束描述关键字非空约束限制该字段的数据不能为nullNOT NULL唯一约束保证该字段的所有数据都是唯一的、不重复的UNIQUE主键约束主键是一行数据的唯一标识，要求非空且唯一默认约束保留数据时，如果未指定该字段的值，则采用默认值DEFAULT检查约束(8.0.16版本之后)保留字段值满足某一个条件CHECK外键约束。

本文章通过两种保存模式csv文件、Mysql数据库实现效果如图Mysql数据库。

***本文章为个人记录***目录一、模拟登录知乎二、提取知乎question页面url三、提取question页面具体数据四、提取answer页面具体数据五、items.py的编写六、pipelines的编写七、Mysql数据库存储结果(第一次运行程序)先模拟登录->保存cookie (其次运行程序)->运行已保存的cookie 模拟登录时没有做验证码处理，所以延时10秒手动通过验证码进行登录。登录后再将知乎账号数据cookie保存起来，为下次爬取浏览器直接使用(下次使用时不需要再进行模拟登录

目录一、新建项目二、程序的编写三、数据的爬取1.在cmd窗口输入scrapy startproject [项目名称] 创建爬虫项目接着创建爬虫文件，scrapy genspider [爬虫名字] [爬虫域名]打开pycharm项目，就可以看到生成的cblog.py文件1.在项目下新建main.py，写入以下代码，方便后续项目调试main.py2.编写爬虫程序kblog.py3.在items.py文件中创建items函数与爬取数据对应items.py4.在数据库中新建数据表MyArticle