- 博客(3)
- 问答 (2)
- 收藏
- 关注
原创 Mongdb数据库的下载和与Scrapy的连接
Mongdb数据库的下载与可视化工具的使用 Mongdb数据库的下载和安装 (1)下载地址https://www.mongodb.com/download-center/community 选择对应的版本号然后点击Download开始下载 (2) 即安装成功。 (3)配置Mongdb的存储目录 进入cmd,创建data文档(mkdir data),再进入data目录,在里面创建db目录 从命令行...
2020-02-10 19:48:23
201
原创 scrapy爬虫中的useragent(用户代理)的“随机更换”功能
如何在scrapy中使用useragent功能 使用useragent功能的原因 在平常使用爬虫时,绝大多数网站都会根据你所使用的请求头(User-Agent)来区分是否为爬虫程序,很容易拒绝我们的请求,在开始,我们会自定义一个请求头来完成我们的程序,但是,当我们用我们的爬虫程序去爬大量的网站时,使用同一个User-Agent是往往不够的,而添加多个又太过的繁琐,本文所提到useragent功能来...
2020-02-10 14:57:14
345
原创 MySQL的一些基础用法(笔记)
MySQL的一些认知MySQL的基本命令语句库的基本使用时间MySQL输出.sql文件一些有点进阶意思的语句 MySQL的基本命令语句 库的基本使用 进入 mysql 库:use mysql; 创建数据库:create database 数据库名; 查看当前创建的数据库:show create database 数据库名; 删除数据库:drop database 库名; 创建表:create ta...
2019-12-01 22:52:27
158
空空如也
selunim 为什么点击了还是只有八个url
2020-02-19
scrapy代码我这段是有错误吗?无法转成csv,创建的文档只有0k
2020-01-28
TA创建的收藏夹 TA关注的收藏夹
TA关注的人