python爬虫爬取漫画网站

最新推荐文章于 2024-12-26 10:27:00 发布

原创

最新推荐文章于 2024-12-26 10:27:00 发布 · 1.9k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫 #漫画网站

本文介绍了一个使用Python进行漫画网站爬虫的实践案例，通过requests、BeautifulSoup和lxml库获取网页内容，利用XPath提取数据，实现漫画图片的下载。代码中包含了多进程处理以提高效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

-- coding: UTF-8 --

import requests
import re
from bs4 import BeautifulSoup
import lxml
from lxml import etree
from fake_useragent import UserAgent
import time
import os
import random
from multiprocessing import Pool

def get_url(url): #浏览器的头
ua = UserAgent()
headers = {‘User-Agent’:ua.random}
response = requests.get(url,headers=headers,timeout=10)
response.encoding = ‘UTF-8’
return response.text
pass

def list_url(text): #章节列表
html = etree.HTML(text)
list_url = html.xpath(’//*[@id=“play_0”]/ul/li/a/@href’)
list_url1 = list_url[::-1]
return list_url1

def parse_page_num(html2,detail_url):
try:
pattern = re.compile(r’function.?prepage.?totalpage = (.*?);’, re.S)
items = re.findall(pattern, html2)
label_list = [int(i) for i in items]
x = label_list[0]
print(‘本章一共%s页’% x)
total_every_page = []
for i in r