简单做个Python数据采集的学习汇总：分享数据采集的小技巧

本文链接：https://blog.youkuaiyun.com/Python966/article/details/128671023

文章介绍了作者在Python学习过程中的实践经验，主要集中在爬虫和数据采集，包括获取网页源代码、处理网站反爬机制，如设置headers、使用selenium。此外，还提及文件保存方法及分享了Python学习资源，如学习路线、书籍、工具包、实战项目和面试题等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

学习Python也有一段时间了，在学习过程中不断的练习学到的各类知识，做的最多的还是爬虫，也就是简单的数据采集，有采集图片（这个最多了。。。），有下载电影的，也有学习相关的比如ppt模板的抓取，当然也写过类似收发邮件，自动登录论坛发帖，验证码相关操作等等！

这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，在此总结一下，也分享给正在学习的小伙伴

安装相关

python的各个版本其实分别并不大，所以不用太纠结用3.6还是3.7.

而我们经常使用的库呢，建议大家学到什么库安装什么库

有的同学会纠结，库安装不上的问题，这个推荐大家百度搜索：python whl 第一个就是吧，在里面有各个库的各个版本，选择对应的下载回来，用pip install 文件完整路径安装即可！

1	pip install d:\requests_download``-``0.1``.``2``-``py2.py3``-``none``-``any``.whl

最基本的抓站——获取源代码

12345	`import` requests``#导入库 html ``= requests.get(url)``#获取源代码 html.encoding``=``'utf-8'``#指定含中文的网页源代码编码格式，具体格式一般存在于源代码的meta标签内

适用于静态网页

网站反“反爬”

大部分的网站（各类中小型网站）都会需要你的代码有headers的信息，如果没有，会直接拒绝你的访问！大型网站反而很少，尤其是门户网站，比如新浪新闻、头条图集、百度图片的爬虫，基本没有什么反爬措施，相关内容可以看看我的其他文章！

而有反爬措施的网站，大部分可以按加入UA信息——加入HOST、Referer（反盗链）信息的顺序加入到headers数据(字典格式)中来尝试！代码格式

1	requeststs.get(url,headers``=``headers)

UA信息是浏览器信息，告诉对方服务器我们是什么浏览器，平时可以收集下相关信息做个UA池，需要的时候调用就可以，也可以随机调用，防止被网站发现，注意的是如果是移动端，一定要注意移动端的网页和pc端的不一样，比如做微博爬虫，我们就比较喜欢移动端，它的反爬力度比pc端的要低很多，也提醒大家，如果一个网站反爬很厉害，你可以去看看移动端（手机登录然后复制url），也许会有惊喜！

HOST信息, 网站的主机信息，这个一般是不变的

Referer信息，这个就是“反盗链”的关键信息，简单的说，就是你是从哪里到当前页面的，破解也很简单，把url放到里面就行！

如果上述办法还是绕不过反爬，那么就麻烦一些，把headers里面的信息都写进去吧

终极反“反爬”：去学习selenium吧少年！

保存文件

其实可以简单的分两大类：字符串内容保存和其他内容保存！简单的2行代码就可以解决

a+为文末追加写入模式，适用于字符串内容的写入，注意排版，也可以在’a+'后面添加参数encoding='utf-8’指定保存文本的编码格式

wb为二进制写入模式，适用于找到对象的真实下载地址后用二进制方式下载文件

未完待续

篇幅有限，本来想写完的，但是有人和我说，写的太多没人看。。。这就很尴尬了！那就先写到这里吧！

也正好有时间重新整理下后面的内容，大概有：自动登录（cookie池）和保持登录、ip代理、验证码（这个是大项）以及scarpy框架的一些注意事项。

这里给大家分享一份Python全套学习资料，包括学习路线、软件、源码、视频、面试题等等，都是我自己学习时整理的，希望可以对正在学习或者想要学习Python的朋友有帮助！

优快云大礼包：全网最全《全套Python学习资料》免费分享🎁

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

👉优快云大礼包🎁：全网最全《Python学习资料》免费分享（安全链接，放心点击）👈

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~ 在这里插入图片描述

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！
在这里插入图片描述
因篇幅有限，仅展示部分资料

2️⃣国内外Python书籍、文档

① 文档和书籍资料

在这里插入图片描述

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！
在这里插入图片描述

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！
在这里插入图片描述

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！
在这里插入图片描述

4️⃣Python面试题

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述

5️⃣Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。
在这里插入图片描述

上述所有资料 ⚡️ ，朋友们如果有需要 📦《全套Python学习资料》的，可以扫描下方二维码免费领取 🆓
😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓