Python爬虫——入门爬取网页数据

本文介绍Python爬虫入门教程，主要讲解如何使用Python爬取网页数据，包括基本的网页数据抓取、使用代理IP和反爬虫技术。

一、Python爬虫入门

Python是一门非常适合爬虫的编程语言。它具有简单易学、代码可读性高等优点，而且Python爬虫库非常丰富，使用Python进行爬虫开发非常方便。

我们先来看一个简单的Python爬虫程序，爬取一个网页的标题：

python
复制代码
import requests
from bs4 import BeautifulSoup

# 发送HTTP请求
url = 'http://www.baidu.com/'
response = requests.get(url)

# 解析HTML文档
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title

# 输出结果
print('网页标题：', title.string)

在这个程序中，我们使用了requests库来发送HTTP请求，并使用BeautifulSoup库来解析HTML文档。通过这两个库，我们可以轻松地获取网页数据，进而进行数据分析和处理。

二、使用代理IP

有些网站可能会封禁某个IP地址，这时我们需要使用代理IP来隐藏真实IP地址。使用代理IP的方法很简单，只需向requests库的get()或post()方法传递proxies参数即可。

下面是一个使用代理IP的Python爬虫程序，爬取一个网站的代理IP：

python
复制代码
import requests
from bs4 import BeautifulSoup

# 设置代理IP
proxies = {
  'http': 'http://127.0.0.1:8080',
  'https': 'http://127.0.0.1:8080'
}

# 发送HTTP请求
url = 'http://www.zdaye.cn/freeproxy.html'
response = requests.get(url, proxies=proxies)

# 解析HTML文档
soup = BeautifulSoup(response.text, 'html.parser')
trs = soup.select('.table tbody tr')

# 输出结果
for tr in trs:
    tds = tr.select('td')
    ip = tds[0].string
    port = tds[1].string
    print('{}:{}'