这8个Python库学会，爬虫就没问题了！-优快云博客

本文链接：https://blog.youkuaiyun.com/cxyxx12/article/details/134727228

爬虫还学不会吗？快来看看是不是用错工具了。这些库用起来，爬虫再也不是难题！

1. Requests：

用于发送HTTP请求和处理响应。

import requests

# 发送GET请求
response = requests.get('http://example.com')
print(response.text)

# 发送POST请求
data = {'username': 'john', 'password': 'secret'}
response = requests.post('http://example.com/login', data=data)
print(response.json())

2. BeautifulSoup：

用于解析HTML和XML文档

from bs4 import BeautifulSoup
import requests

# 发送请求获取HTML内容
response = requests.get('http://example.com')
html = response.text

# 使用BeautifulSoup解析HTML
soup = BeautifulSoup(html, 'html.parser')

# 提取特定标签内容
title = soup.title.text
print(title)

# 提取所有链接
links = soup.find_all('a')
for link in links:
    print(link['href'])

3. Scrapy：

用于构建和管理爬虫项目

import scrapy

class MySpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://example.com']

    def parse(self, response):
        # 提取数据
        title = response.css('h1::text').get()
        yield {'title': title}

        # 进一步跟进链接
        links = response.css('a::attr(href)').getall()
        for link in links:
            yield response.follow(link, callback=self.parse)

4. Selenium：

用于自动化浏览器操作

from selenium import webdriver

# 启动浏览器
driver = webdriver.Chrome()

# 打开网页
driver.get('http://example.com')

# 执行操作（例如填写表单、点击按钮等）
input_element = driver.find_element_by_css_selector('input[name="username"]')
input_element.send_keys('john')

# 提交表单
submit_button = driver.find_element_by_css_selector('button[type="submit"]')
submit_button.click()

# 获取结果
result_element = driver.find_element_by_css_selector('.result')
print(result_element.text)

# 关闭浏览器
driver.quit()

5. Scrapy-Redis：

用于在Scrapy框架中实现分布式爬虫

import scrapy
from scrapy_redis.spiders import RedisSpider

class MySpider(RedisSpider):
    name = 'example'
    redis_key = 'example:start_urls'

    def parse(self, response):
        # 解析响应数据
        # ...

        # 提取下一个URL并放入Redis队列
        next_url = response.css('a.next::attr(href)').get()
        if next_url:
            self.redis.lpush(self.redis_key, next_url)

6. PyQuery：

用于解析HTML和XML文档，类似于jQuery

from pyquery import PyQuery as pq
import requests

# 发送请求获取HTML内容
response = requests.get('http://example.com')
html = response.text

# 使用PyQuery解析HTML
doc = pq(html)

# 提取特定标签内容
title = doc('h1').text()
print(title)

# 提取所有链接
links = doc('a')
for link in links:
    print(pq(link).attr('href'))

7. Textract：

用于从各种文件中提取文本内容，包括PDF、Word文档等

import textract

# 从PDF文件中提取文本
text = textract.process('document.pdf')
print(text)

# 从Word文档中提取文本
text = textract.process('document.docx')
print(text)

8. asyncio：

用于实现异步编程，提高爬虫的并发性能

import asyncio
import aiohttp

async def fetch(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    tasks = [
        fetch('http://example.com/page1'),
        fetch('http://example.com/page2'),
        fetch('http://example.com/page3')
    ]
    results = await asyncio.gather(*tasks)
    for result in results:
        print(result)

loop = asyncio.get_event_loop()
loop.run_until_complete(main())

9. Pandas：

用于数据处理和分析，在爬虫中常用于处理和存储爬取到的数据

import pandas as pd

# 创建数据框
data = {
    'Name': ['John', 'Jane', 'Mike'],
    'Age': [25, 30, 35],
    'Country': ['USA', 'Canada', 'UK']
}
df = pd.DataFrame(data)

# 保存数据框为CSV文件
df.to_csv('data.csv', index=False)

# 读取CSV文件并进行数据分析
df = pd.read_csv('data.csv')
print(df.head())