m0_53401417的博客

Scrapy是一个应用程序框架，用于对网站进行爬行和提取结构化数据，这些结构化数据可用于各种有用的应用程序，如数据挖掘、信息处理或历史存档。尽管Scrapy最初是为它还可以用于使用API提取数据（例如）或者作为一个通用的网络爬虫。

新发地官网链接北京新发地http://www.xinfadi.com.cn/index.html第一步我们先导入需要用到的库然后打开网站，点击查看更多 点击下一页，发现网页地址栏没有变化，由此可知这是一个ajax请求，打开f12调试工具，点击Fetch/XHR然后刷新网页，点击response响应，查看信息，我们需要的数据就在这个响应中。 点击下一页，查看payload，发现页数变化，current也会变化，所以确定页数和current有直接关系。 点击Headers，复制requeste url

数据库字段的某个值是否可以为空，NULL 字段值可以为空，NOT NULL 字段值不能为空。当字段设置为非空时，插入值就必须要插入值，否则就会报错字段添加唯一约束之后，该字段的值不重复，也就是该字段的值在该表中唯一unique key 添加唯一约束ALTER TABLE tbl_name ADD [CONSTRAINT[symbol]]UNIQUE [INDEX|KEY] [index_name] [index_type](index_col_name)删除唯一约束ALTERT TABLE tbl_name

python环境，我使用的是python3.9.2，pycharm工具，以及MySQL5.7。大家可以自行搜索安装下载教程。使用的第三方库pymsql，requests_html打开win+r输入以下命令安装。中国地震台网——历史查询http://www.ceic.ac.cn/history具体代码如下...

数据库就类似于一个文件夹，里面放了很多excel表格，但是数据库是专门用来管理数据的软件，所以效率要远远高于excel 或者文本的存储方式。数据库管理系统(DataBase-Management System,DBMS)由一个相互关联的数据的集合和一组用以访问这些数据的程序组成。这个数据集合通常称作数据库(database)。关系数据库基于关系模型，使用一系列表来表达数据以及这些数据之间的关系。MySQL就是关系型数据库。关系模型已经成为当今主要的数据模型，它比之前的的网络模型和层次模型简化了编程者的工作。

. 目录名或文件名以.开始表示当前路径,如果路径为.开始表示当前路径.. 表示当前目录的上一级目录~ 当前用户的home目录，比如root用户的home目录是/root/ 根目录Tab键可以自动补全和提示，要合理使用history命令可以显示历史执行记录，或者用方向键来切换前后执行的命令ls （list files）命令：用于显示指定工作目录之下内容（列出目前工作目录所含之文件及子目录）。 -a 显示所有文件及目录（.开头的隐藏文件也会列出） -l 除文件名称外，亦将文件