初学者如何用“python爬虫”技术

黑客老许

已于 2024-01-15 14:11:00 修改

阅读量323

点赞数

分类专栏： python 文章标签： python 爬虫开发语言 Python教程职场和发展

于 2023-01-06 11:15:00 首次发布

本文链接：https://blog.youkuaiyun.com/SpringJavaMyBatis/article/details/128571008

版权

python 专栏收录该内容

538 篇文章

订阅专栏

什么是爬虫

一种自动获取网络页面内容的程序
网络爬虫也叫作网络机器人、网络蜘蛛
是一种按照一定规则，自动地抓取网络信息的程序或脚本

通用爬虫
搜索引擎的爬虫系统
追求大的爬行覆盖范围

聚焦爬虫
针对某种内容爬虫
只对特定的网站进行爬取

爬虫的一般流程

Step1-获取网页内容：给一个网址发送请求，该网址会返回整个网页的数据
Step2-解析网页内容：从整个网页数据中提取想要的数据
Step3-保存数据：数据可保存在数据库、文件中

在这里插入图片描述

爬虫在科研中的应用场景

快速追踪最新文献
• Request(获取)+Beautiful Soup(解析)
• Biopython库(Entrez模块)、pymed库
• 利用第三方库直接下载PDF
• 调用接口实现自动英译汉
• ……

项目与基金热点分析
• Selenium(获取)+Beautiful Soup(解析)
• jiba等库进行自然语言分析获得领域热词等分析
• ……

爬取生信数据
• Biopython处理多种生物信息学问题
• pysam处理基因组序列工具
• ……

Python爬虫的优势

Python是用于爬虫的最佳工具之一
• PHP、C/C++、JAVA、Python…等语言均可用于构建爬虫
• Python抓取网页文档的接口更加简洁
• Python拥有丰富的第三方库与爬虫框架
• Python代码简洁、开发效率高
• Python良好的跨平台支持
• ……

Python爬虫常用库

常用的请求库
Urllib库
• Python内置的HTTP请求库
• 一系列用于操作URL的功能
Requests库
• 模拟浏览器操作
• 下载网页内容
Selenium库
• 模拟人自动与网站交互
• 支持所有主流的浏览器

常用的解析库
re库
• Python内置正则表达式模块
• 解析速度较快
beautifulsoup库
• 结构化网页数据
• 轻松获取网页内容
lxml库
• 轻松处理XML和HTML文件
• 支持XPath解析方式，解析效率非常高

常用的数据存储库、爬虫框架
pymysql
Python 实现的 MySQL 客户端操作库
pymongo
直接连接 mongodb 数据库进行查询操作
Scrapy爬虫框架
• 爬取网站数据
• 提取结构性数据

总结

爬虫的基本概念：

按照一定规则，自动获取网络页面内容的程序
获取网页内容、解析网页内容、保存数据

爬虫的应用场景：
网站数据分析、社交舆情分析、行业动向洞察、信息批量采集
追踪最新文献、分析基金项目、爬取生信数据

Python爬虫的优势：接口简洁、第三方库丰富、开发效率高、支持跨平台

Python爬虫常用库：
请求库：urllib库、Requests库、Selenium库
解析库：re库、beautifulsoup库、lxml库
数据存储库：pymysql库、pymongo库、Scrapy爬虫框架

读者福利：知道你对Python感兴趣，便准备了这套python学习资料

对于0基础小白入门：

如果你是零基础小白，想快速入门Python是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：Python永久使用安装包、Python web开发，Python爬虫，Python数据分析，人工智能、机器学习等习教程。带你从零基础系统性的学好Python！

零基础Python学习资源介绍

👉Python学习路线汇总👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。（全套教程文末领取哈）

👉Python必备开发工具👈

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉Python学习视频600合集👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉实战案例👈

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。
在这里插入图片描述

👉100道Python练习题👈

检查学习结果。

👉面试刷题👈