爬虫笔记——东方财富科创板数据爬取(selenium方法)

本文介绍了如何使用selenium爬取东方财富网站上的科创板公司详细数据。由于网页动态加载,作者选择了selenium避免查找动态部分,虽然速度较requests慢,但能直接获取所需信息。代码示例中,针对149条总计50个每页的数据进行了爬取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

爬虫笔记——东方财富科创板数据爬取(selenium方法)


selenium方式爬取
优点:无需观察网站去查找数据来源
缺点:速度较requests方法更慢

网站观察

网址:东方财富科创板数据

===========================================================
网站描述

===========================================================

网站分析

可以发现,由于在网页中存在多个公司,且网站代码中对每个标签的区分度并不高,所以直接在该网页中爬取比较复杂,所以这里选择先爬取每个公司的详情介绍的链接(href属性中每个公司都有一个对应的code编号),然后在每个公司的详情链接网站中爬取想要的信息。
网页分析

===========================================================

公司详情页面

公司详情链接的页面如下:
公司详情页面

===========================================================
可以发现网站也是动态加载的,那么可以采取selenium或者requests的方式爬取数据,其中selenium方式不需要去查找动态加载部分,直接爬取就行,但是由于每次需要访问不同页面,速度就要更慢,这里介绍selenium方法爬取,下一篇文章:爬虫笔记——东方财富科创板数据爬取(requests方法)介绍requests方法。

具体代码

代码如下,注意在run函数中,需要根据爬取的总共条数定义一下函数的参数,这里由于每页为50个公司,总共只有149条数据,故参数为(50,149):

# 东方财富科创板数据爬取-selenium
from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from lxml import etree
import re
import time
import pandas as pd

class eastmoneyspider():
    def __init__(self):
        self.driver = webdriver.Chrome()
        self.url = "http://data.eastmoney.com/kcb/"
        self.page = 1
        self.company_detail_urls = []
        self.kcb_data = []
        self.spider_count = 1
    
    def run
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值