Python爬虫之selenium爬取英雄联盟官网英雄皮肤图片下载到本地和保存到数据库

最新推荐文章于 2024-11-04 08:43:58 发布

置顶

xyl180808

最新推荐文章于 2024-11-04 08:43:58 发布

阅读量2k

点赞数

CC 4.0 BY-SA版权

分类专栏： python爬虫文章标签： python 爬虫 selinium 英雄联盟皮肤

本文链接：https://blog.youkuaiyun.com/xyl180808/article/details/82084657

本文介绍了如何利用Python的selenium库来爬取英雄联盟官网的英雄皮肤图片，并将这些图片的链接存储到MongoDB数据库。尽管selenium方便获取动态内容，但其效率较低，作者提出了使用进程池或多线程提升效率的设想，期待读者提供优化建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

从英雄联盟皮肤网站的网页源代码中获取不到英雄的皮肤地址通过selenium可以轻松获取想要的内容

源码展示

from selenium import webdriver
from time import sleep
from pyquery import PyQuery as pq
import os,requests
from config import *
import pymongo
from selenium.common.exceptions import NoSuchElementException

browser = webdriver.Chrome()

client = pymongo.MongoClient(MONGO_URL)
db = client[MONGO_DB]


def get_hero_url():
    browser.get("http://lol.qq.com/web201310/info-heros.shtml")
    html = browser.page_source
    doc = pq(html)
    #通过PyQuery解析出来的网页 用css选择器获取li标签内容 并返回一个生成器
    items = doc('#jSearchHeroDiv.imgtextlist li').items()
    #通过循环获取生成器下的内容
    for item in items:
        data ={
            'hero_url':'http://lol.qq.com/web201310/'+item.find('a').attr('href'),
            'hero_name':item.find('p').text()
        }
        #print(len(data['hero_url']))
        # 在网页加载的时候可能会因为网络的问题 图片会加载不出来 然后css选择器就获取不到相应的内容
        #从未抛出异常  抛出异常后让网页重新加载一次
        try:
            get_hero_skin