shannya_zhima的博客

如今，互联网行业高速发展，在互联网产业中拿IP地址作为最基础的资源，在爬虫采集、网站测评、舆情观察、价格监控等多种业务中发挥着重要的作用。通常，人们在日常工作和生活中，从公司机房、公司云服务器等地方分配到的IP称为机房IP，而个人家庭通过运营商拉的宽带，分配到的IP地址称为动态IP，这些IP地址因为每天都会有变化，不是固定的，而称之为住宅动态IP。那么住宅IP和机房IP有什么区别呢？住宅IP是ISP或ADSL分配给个人家庭的实际IP地址，由网络真实用户组成，特别是独享的住宅IP，和普通网民使用IP没有

HTTP常常在互联网中看到，通常在IP切换的情景中，有很多的互联网客户会挑选HTTP服务项目。很多人都会采用服务器代理共享上网，运用局域网连接宽带加速局域网客户的网站打开速度，另外，能够做为服务器防火墙，维护网络安全防护，监管数据传输日志，提升互联网安全系数。通常动态代理的基本原理，在家庭宽带中宽带拨号只需断掉再拔号1次，连接进行便会更改1次外网地址网络IP。而且连接创建后网络速度相对稳定，这就是动态IP。互联网营销就常常会采用动态IP服务同样也是广告宣传，手机游戏，电子商务行业必备品!IPIDE

目前爬虫技术已经可以被我们充分发挥，海量收集数据。爬虫行动往往会受到很多限制，以致最终被完全封锁掉。有什么方法能避免呢？验证码，我们在很多网站会遇到，如果请求量大了之后就会遇到验证码的情况。最让人诟病的12306，其实也是一定程度上的防止非正当请求的产生。对于验证码，可以通过OCR来识别图片，Github上面有很多大神分享的代码可以用，可以去看看。减少返回的信息，最基本的隐藏真实的数据量，只有不断加载才能刷新信息。还有的就更变态，会只给你展示一部分信息，人都看不到，爬虫也无能为力。比如CNKI，你每次