java/python学习的第十六天/python爬虫

1.http的端口号为80，https的端口号为443，所以访问http://14.215.177.38:80和https://14.215.177.38:443
2.http请求和响应

2.爬虫
1.数据采集程序
爬取的数据来源于网络，网络中的数据可以是由Web服务器(Nginx/Apache) 、数据库服务器(MySQL、Redis)、索引库(ElastichSearch) 、大数据(Hbase/Hive)、视频/图片库(FTP)、云存储等(OSS)提供的。

2.使用python的爬虫可以定时定量的完成数据爬取，可以完成多种测试，例如接口测试，性能测试，功能测试等等
3.
其实爬虫就是伪造一个浏览器请求的数据的
爬虫的三个步骤：
1.爬取网页
2.解析数据
3.保存数据
代码：用于爬取数据
获取get请求
import urllib.request
response =urllib.request.urlopen(“https://www.datafountain.cn/”)
print(response.read().decode(‘utf-8’))

获取post请求