- 博客(20)
- 收藏
- 关注
RSS订阅转载 Python的这几个技巧，你知道吗
随着大数据时代的到来，我们每天都在接触爬虫相关的事情，这其中就不得不提及Python这门编程语言。我已经使用Python编程有多年了，即使今天我仍然惊奇于这种语言所能让代码表现出的整洁和对DRY编程原则的适用。这些年...
2019-02-26 14:00:16
180
转载 换IP软件带你了解网站的反爬虫策略有哪些
自有网络以来，就一直存在爬虫和反爬虫，越是大网站，越是成熟的网站，其反爬虫机制越完善，最初的IP限制，验证码限制，还有其他的限制，今天小编跟大家一起去了解下网站在哪些地方设置反爬虫，而爬虫又是怎么应对的。...
2019-02-15 14:10:42
361
转载 Python教程 | 五种常见的数据存储方式
大数据时代下，生活和数据息息相关，越来越多的行业和个人都需要大数据的帮助。这样的背景下，爬虫采集成为主流。爬虫过程中主要使用的是Python语言，而在Python开发中，数据存储、读取是必不可少的环节，而且可以采用的存储...
2019-02-14 14:42:52
2035
转载 python爬虫：常见HTTPError异常
我们学习Python的过程中总是遇到很多难题，最常见的比如IP限制，我们学会通过使用代理IP来解决，其他情况下也会存在很多异常或者麻烦，需要大家耐心学习，今天就讲解下常见的HTTPError异常。100：继续...
2019-02-11 14:33:20
1319
转载 如何做好问答推广？巧用换IP软件
相对于论坛推广，问答得推广的用户群体更广，而且许多用户都有搜索找答案的习惯。企业通过问答的推广可以更加快速的把自己品牌或者产品展示给用户，并且能够引导用户关注、了解我们的品牌或者产品，进行精准的营销。那么如何做好问答推广...
2019-01-17 13:52:23
161
转载 爬虫爬取数据时如何快速换IP？极光IP轻松搞定
大数据时代下，数据爬取成为很多企业和个人的工作重点，过程中经常遇到很多问题，比如时间限制、IP限制、验证码限制等等，都可能会导致爬虫无法进行，所以我们常常需要不断切换IP地址，以保障访问不会被封杀。那么有什么方法可以实现快速...
2019-01-15 11:53:04
1707
转载 使用换IP软件的代理IP速度缓慢的原因是什么？详解！
相信许多朋友都使用过换IP软件吧，无论是因为销售业务需求量还是个人需求，在使用换IP软件的操作过程中常会遇到某些令人烦闷至极的难题，例如代理IP连接不了，又如经厉了千难万险好不容易连上了，发现慢如蜗牛般等等，今日让我们讨...
2019-01-14 11:37:39
851
转载 使用代理IP软件需要了解的三个概念
爬虫采集过程中少不了代理IP软件的使用，在使用代理IP软件之前我们需要弄明白一些基本概念。代理(英语：Proxy)也称网络代理，是一种独特的互联网服务，准许1个终端设备(通常为手机客户端)通过这个服务与另个终端设备(通常为网...
2019-01-09 11:18:42
800
转载 对于Pyspider爬虫框架你知道多少？
Pyspider是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。...
2019-01-08 14:06:42
230
转载 如何选择合适的换IP软件？以下3点需要注意
大数据时代，企业的发展离不开数据的支持，企业通过爬虫采集获取用户、竞争对手等数据信息，对获取的数据进行分析，制定适合自己的营销方案。而数据采集过程中少不了换IP软件的使用，虽然现在提供代理IP服务的提供商很多，但是想要选...
2019-01-05 10:42:39
184
转载 Python如何切换代理IP？几行代码轻松搞定
随着大数据的应用越来越广泛，应用的行业也越来越多，我们每日都可以看到大数据的一些新颖的应用，从而帮助人们从中获取到真正有用的价值，随着很多工作的开展，我们需要大量的IP操作，这时为了避免IP被封，使用代理IP是个很好的选...
2019-01-04 11:00:11
815
转载 换IP软件能否实现定时切换IP？一起来验证
有时候，因工作原因需要不同的IP，这个时候我们应该如何来切换电脑IP呢？许多人会说使用换IP软件啊，那么换IP软件真的可以实现自动切换电脑IP地址吗？让我们一起来验证下。1、首先，我们先查看一下本机IP地址，...
2019-01-03 12:26:55
1359
转载 代理IP软件如何只切换浏览器IP地址
由于日常工作原因，我需要不断的更换IP地址实现账号登录，身份刷新，所以IP代理软件对我来说很重要。工作这一两年，用了很多款代理IP软件，相信了解这方面的用户，应该都知道代理软件的弊端，那就是只能全局换IP，一键切换后，整...
2018-12-14 15:38:46
380
转载 你必须知道的爬虫技巧
大数据时代，无论是设计产品还是营销推广，都需要以科学的数据分析为依据。现在想要获得海量的有效数据，还得依靠爬虫技术的帮助，而爬虫在开发过程中也有很多复用的过程，这里总结一下，以后也能省些事情。1、Co...
2018-12-08 12:39:59
147
转载 爬虫实例 利用Ajax爬取微博数据
随着代理IP技术的普及，爬虫的使用也变得简单起来，许多企业和个人都开始用爬虫技术来抓取数据。那么今天就来分享一个爬虫实例，帮助你们更好的理解爬虫。下面我们用程序模拟Ajax请求，将我的前10页微博全部爬取下来。...
2018-12-07 16:15:00
217
转载 入门|Python爬虫架构介绍
大数据时代，海量数据的获取离不开爬虫技术。再加上代理ip的帮助，爬虫技术的应用也就越来越广泛。许多企业和个人开始学习爬虫技术，而学习爬虫技术首先要掌握爬虫框架。Python爬虫架构主要由五个部分组成，...
2018-11-16 14:12:03
223
转载 干货|Python爬虫如何设置代理IP
在学习Python爬虫的时候，经常会遇见所要爬取的网站采取了反爬取技术导致爬取失败。高强度、高效率地爬取网页信息常常会给网站服务器带来巨大压力，所以同一个IP反复爬取同一个网页，就很可能被封，这里讲述一个爬虫技巧，设置代...
2018-11-13 14:26:21
252
转载 换IP软件能保证我们的网络安全吗
当我们上网时，我们真实的IP可能会被泄露，如果被别有用心的人获取的话，可能会对我们的生活造成一些影响。但如果使用了代理IP软件之后，就能隐藏我们的真实IP地址了，这样就多了一份安全的保障。所以说使用代理IP软件可以让上网...
2018-11-10 15:10:07
265
转载 干货|爬虫被封的几个常见原因
爬虫采集成为很多公司企业个人的需求，但正因为如此，反爬虫的技术也层出不穷，像时间限制、IP限制、验证码限制等等，都可能会导致爬虫无法进行，所以也出现了很多像代理IP、时间限制调整这样的方法去接触反爬虫限制，当然具体的操作...
2018-11-09 14:00:00
388
转载 重启路由器可以换IP吗
想换IP有哪些方法可以实现？有时候IP被限制了，怎么换IP访问，重启路由器可以换IP吗？一般家庭的基于PPPOE拨号方式上网的,使用的是动态IP，可以更换IP，下面一起去看看如何重启路由器：...
2018-11-08 15:27:41
735
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人