怎么用python爬数据？python爬虫基础介绍！

关注

原创 2024-01-26 21:42:03 1.1k 阅读 AI 写同款· GEO 优化 ›

Python 万能代码模版：爬虫代码篇你好，我是悦创。很多同学一听到Python或编程语言，可能条件反射就会觉得“很难”。但今天的Python课程是个例外，因为今天讲的**Python技能，不需要你懂计算机原理，也不需要你理解复杂的编程模式。**即使是非开发人员，只要替换链接、文件，就可以轻松完成。并且这些几个实用技巧，简直是Python日常帮手的最佳实践。接下来，我们就逐一用Python实现，其中我提供的代码是万能代码，只用替换成你想爬的网页链接、文件位置、照片就可以进行处理了。**Tips.py文件。... 阅读详情

如果说当下最热门的语言，那非属 python 不可。如果说 python 最火热的方向是哪个，那么爬虫绝对有一席之地。现在的许多 python 培训课程，都喜欢拿 python 爬虫来增加学员的学习兴趣。那么，怎么用 python 爬取数据？小编接下来带你了解一个 python 爬虫的开发流程。

小编先放上一个示例代码（以当当好评榜 TOP500 为例），以下介绍基于该代码进行介绍。

import requests  # 引入request库进行页面请求
from requests.exceptions import RequestException  # 引入RequestException来捕获request可能出现的异常
import re  # 引入re库来进行正则匹配
import json  # 引入json 来进行json格式转化


def get(url):  # 将请求方法封装，方便使用try语句捕捉异常
    try:
        response = requests.get(url)  # 使用request的get方法获取响应流
        if response.status_code == 200:  # 处理响应流，如果不是200响应，则返回None
            return response.text  # 将响应流以文本方式返回
        return None
    except RequestException:
        return None


def parse(text):  # 将正则匹配方法封装，使代码模块化
    pattern = re.compile('<li>.*?list_num.*?>(.*?)</div>.*?pic.*?src="(.*?)".*?/></a>.*?name"><a.*?title="('
                         '.*?)">.*?tuijian">(.*?)</span>.*?publisher_info.*?title="(.*?)".*?biaosheng.*?<span>('
                         '.*?)</span>.*?</li>', re.S)  # 设定正则表达式匹配规则
    items = re.findall(pattern, text)  # 使用正则匹配对传入的text文本进行正则匹配，并将匹配成功的结果保存在items
    return items  # 将匹配的结果返回


if __name__ == "__main__":
    target_url = "http://bang.dangdang.com/books/fivestars/"  # 目标爬取的页面url
    html = get(target_url)  # 使用封装好的get方法将整个目标HTML页面爬取下来
    for item in parse(html):  # 使用封装好的正则匹配方法对目标HTML进行正则匹配，然后用一个循环将结果进行处理
        print(item)
        # 接下来是将结果写入txt文件的操作
        with open('book.txt', 'a', encoding='UTF-8') as f:
            f.write(json.dumps(item, ensure_ascii=False) + '\n')  # 使用json库的dumps方法将列表对象转变成json对象(字符串)，然后写入文本
            f.close()

爬虫开发第一步：网页分析

爬虫开发的第一步，是对目标网页进行分析，首先要知道你需要的目标数据在哪里，这里使用开发者工具查看整个页面结构，发现目标数据在一个 <li> 元素中，所以开发思路是，将这个页面的数据获取下来，然后获取数据中的 <li> 元素（里面的有用的数据）。

f12开发者工具进行元素定位

爬虫开发第二步，数据爬取

经过第一步的分析，我们已经大致有了爬虫的思路了，所以现在要做的，就是把这个页面爬取下来。这时候 request 库出场了。使用 request 的 get() 方法，可以将目标页面的 html 爬下来。得到了目标页面的 html（代码中将其存储在 html 字符串中）。就可以进行接下来的操作了。

爬虫开发第三步，数据处理

使用正则表达式，匹配代码中的目标数据（也就是之前分析的li元素里的有用的数据）。并将其放进一个 items 列表中。完成到这一步，数据的爬取分析也就基本结束了。只要将爬取的结果进行保存就可以了。

爬虫开发第四步，数据保存

小编这里使用python自带的文件读写函数，将数据以json的格式保存在一个叫 book.txt 的文件中。

小结

现在大多数网页爬虫的开发方式基本都是上面的四步，python 的爬虫结构也大同小异。不过随着更多更好的工具出现，以及网站反爬意识的加强，最新的爬虫往往需要更好开发工具库和更多的配置。

这里给大家分享一份Python全套学习资料，包括学习路线、软件、源码、视频、面试题等等，都是我自己学习时整理的，希望可以对正在学习或者想要学习Python的朋友有帮助！

优快云大礼包：全网最全《全套Python学习资料》免费分享🎁

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

👉优快云大礼包🎁：全网最全《Python学习资料》免费分享（安全链接，放心点击）👈

1️⃣零基础入门

① 学习路线

对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
在这里插入图片描述

② 路线对应学习视频

还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~ 在这里插入图片描述

③练习题

每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！
在这里插入图片描述
因篇幅有限，仅展示部分资料

2️⃣国内外Python书籍、文档

① 文档和书籍资料

在这里插入图片描述

3️⃣Python工具包+项目源码合集

①Python工具包

学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！
在这里插入图片描述

②Python实战案例

光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！
在这里插入图片描述

③Python小游戏源码

如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！
在这里插入图片描述

4️⃣Python面试题

我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
在这里插入图片描述

5️⃣Python兼职渠道

而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。
在这里插入图片描述

上述所有资料 ⚡️ ，朋友们如果有需要 📦《全套Python学习资料》的，可以扫描下方二维码免费领取 🆓
😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓