现代的爬虫----一黑一白，坎坷曲折（ps：当作聊斋类型看）

站在一个年轻开发者的角度来看爬虫，虽然做过几个项目，但是有时会给我一个很迷茫的错觉。

首先，爬虫简单来说就是自动化地在网络上搜索数据，然后我得到我想得到的有用信息。这样看确实没错，但是却是在这里出现了两极分化。
一面呢，注重技术。那么注重技术需要你会哪些技能呢？首先，网络相关的东西你都要懂的，因为这涉及数据包的捕获啊；其次，代理你也要懂的，因为你要学会伪装啊；框架？你干嘛要会框架？这需要框架吗？然后，反编译，你为什么不会，看不懂android和ios源码？那你反编译出来有什么用；验证码倒是没问题，基本的做法都是要会的，但是新型的验证码自动化实现你会吗？不会的话你还能做什么。IP被封？总不能让我攻入人家电脑内部去把这东西添到永久允许访问里吧。所以往往会是一种一才难遇的现况。最最最重要的一点就是这技术几乎是不可能过早开源的！
另一面呢，注重质量。给顾客做分析嘛，你数据不给我好一点的数据，那我做不出来分析不只能怪你喽？搭个框架来统一管理，提高效率，那么就需要找各种各样的中间件资料，或者配合新技术一起搭；既然要做系统式的爬虫，你至少要懂得你所用的基础语言的相关框架吧，那么通过这个结论就可以得出你不可能是个新手去做爬虫系统去的，那也得需要工作经验的啊；既然是跟搜索相关的爬虫，那爬取的范围80%是畅通的。然后就需要你去了解大数据框架，去了解大数据怎么实现的，既然你都会大数据了，为什么不做个大数据开发工程师呢？
最后，问题来了，刚刚提到的验证码。验证码已经升级到需要计算机视觉处理，深度学习训练等最新技术来解决了，在不调用第三方的情况下，我们是不是还要去学这人工智能的一些东西。假如说不去依靠外部力量独自完成这一系列操作，我想我们可以找几张纸来罗列一下我们需要掌握的东西了，而且还有好多我并没有提及到的。
最后的最后，爬虫浮现于表面，我想说是为了帮助人工智能更好发展的。