本文分享了实习期间深入学习HTTP的经历，包括代理与网关的区别、WPAD的工作原理、签名评审流程、拦截代理的处理方式、爬虫设计考虑因素、robots.txt文件使用技巧、HTML对机器人行为的影响、摘要认证概念、SSL握手过程及SMTP常用命令等内容。
2019.7.17
实习第十六天
今天一整天没有新的活，继续学HTTP
1.代理与网关的不同在于，代理连接的是两个或者多个相同的协议，网关一般会做协议转换，但是一些商业化的代理也会加上网关功能
2.WPAD（Web Proxy Auto-Discovery Protocol）的作用是找到代理PAC的URL,并下载PAC，配置好
3.参与签名评审
4.拦截代理需要处理当客户端第一次请求就被拦截，客户端此时以为服务器存在，而所请求的服务器可能不在线的情况
5.爬虫需要考虑的问题:环路，记录
|
–解决方法:规范化URL,广度优先搜索，节流，限制URL大小，站点黑名单，模式检测，内容指纹，人工监视等
6.robots.txt文件disallow,allow均没有匹配的URL视为可被访问的
7.HTML的标签也可以限制机器人的行为
8.了解了摘要认证的概念
9.SSL握手的过程:①客户端发送可选密码并请求证书 ②服务器返回选中的密码和证书 ③客户端发送保密信息，两端生成密钥 ④两端互相告知，开始加密过程
10.了解了SMTP的常用命令
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
