python-反爬虫

1. 什么是爬虫?

就是在互联网上一直爬行的蜘蛛， 如果遇到需要的资源， 那么它就会抓取下来(html内容);
模拟浏览器快速访问页面的内容.

2. 浏览网页的过程中发生了什么?

• 浏览器输入http://www.baidu.com/bbs/;
• 1). 根据配置的DNS获取www.baidu.com对应的主机IP；
• 2). 根据端口号知道跟服务器的那个软件进行交互。
• 3). 百度的服务器接收客户端请求:
• 4). 给客户端主机一个响应(html内容) ----- html, css, js
• 5). 浏览器根据html内容解释执行， 展示出华丽的页面;

</li>                                                                                                                                                                                                <li
style="margin: 0px 10px 0px 5px; width: 120px; float: left; height: 30px; display: inline;">
<a href="http://www.cfets-icap.com.cn/" target="_blank"  style="color:#08619D">
上海国际货币经纪公司
</a>
</li>

常见模拟浏览器的信息:

1.Android
Mozilla/5.0 (Linux; Android 4.1.1; Nexus 7 Build/JRO03D) AppleWebKit/535.19 (KHTML, like Gec