岚天的博客

在上述代码中，我们首先定义了SSH隧道的本地端口和远程端口，以及SSH服务器的IP地址、端口、用户名和密码。然后，我们创建了SSH客户端并连接到SSH服务器，接着创建SSH隧道并连接到远程主机。总之，SSH隧道是一种非常有用的技术，可以帮助我们在不直接连接到目标主机的情况下，通过加密通信的方式，将本地计算机的网络流量转发到远程主机上。SSH隧道是一种通过SSH协议进行加密通信的技术，可以在不直接连接到目标主机的情况下，通过加密通信的方式，将本地计算机的网络流量转发到远程主机上。

作用提取这种不知道有多少页的，数据的链接有规律的，优点可以用正则表达式，xpath，css等去获取有规则的url进行解析简单Demo。

负责下载ScrapyEngine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给ScrapyEngine(引擎)，由引擎交给Spider来处理。它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)。它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。一个可以自定扩展和操作引擎和Spider中间通信的功能组件。...

Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。[1]Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。[2]......

get请求对比get请求相对urllib.rqquest则没有需要特别的转码就可以得到响应的数据，非茶馆的方便，requests中只需要.text属性就能获取到源码，而urllib.request.urlopen()之后还得.read().decode('utf-8')去解码才能获取到解码后的源码，很不友好。#优点1.post请求不需要编解码2.post请求参数是data3.不需要请求对象的定制。#对比urllib.request。...

Python request的六个属性入门爬虫

Python 利用BS4 BeautifulSoup 爬取 星巴克界面图片报错， tfp = open(filename, 'wb') FileNotFoundError: [Errno 2] No such file or directory: '美式咖啡（热/冷）.jpg'