weixin_45387160的博客

技术要点：1、python操作redis的基础，如建立连接，插入数据，读取数据等等。2、爬虫代理的使用。目标：爬取拉勾网站数据分析师岗位信息，将公司、薪水、城市及岗位详细信息地址写入redis数据库，然后爬取每个岗位详细信息页面，获取职位诱惑和岗位要求的详细信息，再次写入redis。import requestsimport timeimport randomimport redi...

爬虫目的：爬取拉勾网站杭州分站的python岗位基本信息和岗位详情，并写入mysql数据库。后附经验总结。知识点，1、解析函数多个yield以及多个pipeline的使用2、Sqlalchemy框架的使用3、Scrapy FormRequest请求，以及反爬难点：岗位详细信息的url不能直接从爬虫返回信息获得，而需要另外构建url。然后通过request再次请求，以及回调的解析函数...

shutdownnet stop mongodb打开一个DOS窗口，输入如下命令，不要关闭窗口mongod --dbpath D:\MongoDB\Server\4.2\mongocluster\slave2\data --port 27012 --bind_ip 192.168.1.4 --replSet myrs再打开一个DOS窗口，输入如下命令，不要关闭窗口mongod --db...