这篇博客介绍了Python爬虫入门的基础知识，包括Python的安装、使用pip安装第三方库requests_html，如何下载网页代码，提取网页内容，创建简单的网络爬虫，以及如何将爬取的数据存储到CSV文件中。
Python 爬虫入门
一、准备工作
- 安装 Python 3.6 及以上版本
- 会使用pip安装第三方库
1、Python安装及使用pip安装第三方库
- 官网https://www.python.org/下载并安装，勾选pip安装选项
- 打开控制台，输入
python --version查看 Python 版本，对于学习者来说，保持使用最新版本的 Python 是个好习惯。 - 使用 pip 安装 requests_html 库，
pip install requests_html，根据网络情况，通常需要几分钟时间。
二、提取网页数据
1、使用 Python 下载网页代码
新建一个 crawler.py 文件，输入并执行以下 4 行代码：
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://3w.huanqiu.com/a/c36dc8/7KZVzJcCY7K?agt=20&tt_group_id=6667596831221875203')
print(r.text)
可看到输出为：
<!DOCTYPE html>
<html lang="zh">
<head>
<meta charset="UTF-8">
<title>惨败！英国脱欧协议草案以149票之差被下议院否决</title>
<meta name="keywords" content="惨败,英国脱欧协议草案,以149票之差,被下议院,否决">
<meta name="description" content="惨败！英国脱欧协议草案以149票之差被下议院否决">
<link rel="shortcut icon" href="/favicon.ico"/>
<link rel="stylesheet" href="//at.alicdn.com/t/font_564819_nzs674i0u17wg66r.css"</
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
