- 博客(7)
- 收藏
- 关注
原创 xshell连接linux
一、安装ssh免密登录sudo apt-get install openssh-server二、检查ssh服务状态ps -ef | grep ssh如果服务未启动,输入一下命令重启service ssh start/etc/init.d/ssh start注释: start 开启; restart 重启; stop 停止查看ssh的端口:cat /etc/ssh/ssh_config三、设置root用户登录修改openssh server配置vim /etc/ssh/sshd_conf
2022-03-04 20:40:22
300
原创 scrapy爬虫框架的五大构成
Scrapy框架主要由五大组件组成,它们分别是调度器(Scheduler)、下载器(Downloader)、爬虫(Spider)和实体管道(Item Pipeline)、Scrapy引擎(Scrapy Engine)。下面我们分别介绍各个组件的作用。(1)、调度器(Scheduler):调度器,说白了把它假设成为一个URL(抓取网页的网址或者说是链接)的优先队列,由它来决定下一个要抓取的网址是 什么,同时去除重复的网址(不做无用功)。用户可以自己的需求定制调度器。(2)、下载器(Downlo
2021-04-25 16:06:38
4209
原创 scrapy框架的使用1
鼠标右键点击myspider然后点击open interminal弹出命令框在命令框里输入scrapy genspider muiscspider“htqyy.com”(要爬取的网站)运行命令就会在文件夹下出生这些文件说明创建成功
2020-08-30 00:07:52
180
原创 pycharm创建scrapy爬虫框架项目
pycharm创建scrapy爬虫框架文档点击左下角的Termianl,pycharm自带的命令框输入 scrapy startporject 项目名当命令框显示scrapy项目创建成功下面是scrapy框架的常用命令
2020-06-19 11:24:35
917
原创 pycharm安装scrapy框架
pycharm安装scrapy框架大家是否因为使用cmd命令安装scrapy框架经常报错找不到问题而烦恼今天教大家使用pycharm安装scrapy框架点击settings设置进入点击右上角的加号进入以后在搜索框搜索scrapy搜索完成后点击搜索到的scrapy然后点击左下角的install Packge下载scrapy出现这行绿色的提示时安装成功...
2020-06-17 14:55:31
922
原创 使用pyecharts写可视化中国地图时代码正确只出现部分中国地图的错误
使用pyecharts写可视化中国地图时代码正确只出现部分中国地图的错误代码如下图运行代码无错误却只有南海诸岛的地图错误原因缺少地图插件安装这些地图插件echarts-countries-pypkg 是全球国家地图,echarts-china-provinces-pypkg是中国省级地图, echarts-china-cities-pypkg是中国城市地图安装好这些插件再运行代码成功显示出中国地图...
2020-06-11 13:02:38
831
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人