<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[qq_74418371的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/qq_74418371</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; qq_74418371]]></copyright><item><title><![CDATA[MongDB]]></title><link>https://blog.youkuaiyun.com/qq_74418371/article/details/140782198</link><guid>https://blog.youkuaiyun.com/qq_74418371/article/details/140782198</guid><author>qq_74418371</author><pubDate>Mon, 29 Jul 2024 22:23:01 +0800</pubDate><description><![CDATA[MongoDB 是一款介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的NOSQL数据库。它面向文档存储，而且安装和操作起来都比较简单和容易，而且它支持各种流行编程语言进行操作，如Python，Node.js，Java，C++，PHP，C#等。]]></description><category></category></item><item><title><![CDATA[scrapy的crawlspider爬虫]]></title><link>https://blog.youkuaiyun.com/qq_74418371/article/details/140264140</link><guid>https://blog.youkuaiyun.com/qq_74418371/article/details/140264140</guid><author>qq_74418371</author><pubDate>Mon, 08 Jul 2024 11:34:45 +0800</pubDate><description><![CDATA[对应的crawlspider就可以实现上述需求，能够匹配满足条件的url地址，组装成Reuqest对象后自动发送给引擎，同时能够指定callback函数

即：crawlspider爬虫可以按照规则自动获取连接]]></description><category></category></item><item><title><![CDATA[scrapy模拟登陆]]></title><link>https://blog.youkuaiyun.com/qq_74418371/article/details/140252220</link><guid>https://blog.youkuaiyun.com/qq_74418371/article/details/140252220</guid><author>qq_74418371</author><pubDate>Sun, 07 Jul 2024 21:04:35 +0800</pubDate><description><![CDATA[1.1 requests模块是如何实现模拟登陆的？
直接携带cookies请求页面

找url地址，发送post请求存储cookie

1.2 selenium是如何模拟登陆的？
找到对应的input标签，输入文本点击登陆

1.3 scrapy有二种方法模拟登陆
直接携带cookies

找url地址，发送post请求存储cookie]]></description><category></category></item><item><title><![CDATA[Scrapy中间件]]></title><link>https://blog.youkuaiyun.com/qq_74418371/article/details/140252120</link><guid>https://blog.youkuaiyun.com/qq_74418371/article/details/140252120</guid><author>qq_74418371</author><pubDate>Sun, 07 Jul 2024 20:57:02 +0800</pubDate><description><![CDATA[1.2 scrapy中间的作用
主要功能是在爬虫运行过程中进行一些处理，如对非200响应的重试（重新构造Request对象yield给引擎）

也可以对header以及cookie进行更换和处理

其他根据业务需求实现响应的功能

但在scrapy默认的情况下 两种中间件都在middlewares.py一个文件中

爬虫中间件使用方法和下载中间件相同，常用下载中间件]]></description><category></category></item></channel></rss>