Python84310366的博客

本文介绍了5个常见的Python爬虫框架，并分析了它们的优缺点。每个框架都有其独特的特点，可以根据具体的需求选择合适的框架。需要注意的是，不同的框架适用的场景不同，选择框架时需要充分考虑数据的规模爬虫的性能网页的特性等因素。

爬虫(spider，又网络爬虫)，是指向网站/网络发起请求，获取资源后分析并提取有用数据的程序。从技术层面来说就是 通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频） 爬到本地，进而提取自己需要的数据，存放起来使用。

最后再说一下爬虫的一些原则① 指定爬取策略时，尽可能少的发起网络请求。一次请求能解决的事儿，尽量不要多次。② 控制发起请求的频率，过于频繁的访问，不仅给对方服务器带来压力，也容易被对方反爬虫系统针对。③写爬虫要有敬畏之心，切忌不当使用爬虫！爬虫毕竟只是工具，是手段，真正重要的东西是数据，所以，不要为了使用爬虫而使用爬虫，数据量较小，能手动解决的尽量手动解决。

一年一度的“金三银四”即将到来，接下来这两个月，不仅是传统意义上的跳槽涨薪旺季，更会是Python技术接私活的高潮期！圈子里的朋友们这下有的忙了，都会趁着旺季接单赚一笔。

爬虫工程师的的薪资为20K起，当然，因为大数据，薪资也将一路上扬。那么，Python需要学到什么程度呢?今天我们来看看3位前辈的回答。1、前段时间快要毕业，而我又不想找自己的老本行Java开发了，所以面了很多Python爬虫岗位。因为我在南京上学，所以我一开始只是在南京投了简历，我一共面试了十几家企业，其中只有一家没有给我发offer，其他企业都愿意给到10K的薪资，不要拿南京的薪资水平和北上深的薪资水平比较，结合面试常问的问题类型说一说我的心得体会。

我刚开始对爬虫不是很了解，又没有任何的计算机、编程基础，确实有点懵逼。从哪里开始，哪些是最开始应该学的，哪些应该等到有一定基础之后再学，也没个清晰的概念。因为是 Python 爬虫嘛，Python 就是必备的咯，那先从 Python 开始吧。于是看了一些教程和书籍，了解基本的数据结构，然后是列表、字典、元组，各种函数和控制语句（条件语句、循环语句）。

自动化办公无非是excel、ppt、word、邮件、文件处理、数据分析处理、爬虫这些，下面就详细介绍一下！文章最后分享了很不错的python学习教程，适合零基础初学的小伙伴，希望可以对你有所帮助！！

我是半路从一个纯小白学过来的，学习途中也掉过许多坑，在这里建议新手要先把基础打扎实，然后再去学习自己需要的内容，不要想着全部学完再用，那样你是永远学不完的，用哪方面就学习哪方面的内容，不要贪多哟。我当初想到学python是为了能在工作中提升工作效率（另一个也是兴趣），还有就是python入门快。相信大多数小伙伴也是这个原因才学python的。

爬虫是Python是一个很经典的方向，大多数的小伙伴看到的是Python爬虫的就业效果，确实Python爬虫学习成本低（学习快），就业效果好，特别适合新手入门，但是也要关注另外一个点，就是Python爬虫对编程能力提升方面也是很全面的，那么基于这些我们来聊聊Python爬虫的知识进阶流程。