如何爬虫同花顺概念数据？pyppeteer

最新推荐文章于 2025-06-29 21:40:27 发布

原创最新推荐文章于 2025-06-29 21:40:27 发布 · 5.2k 阅读

19 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

本文讲述了作者如何使用Fiddler抓包工具发现并克服网站反爬，最终通过Pyppeteer稳定获取概念列表数据，旨在实现实时监控和提醒。

1.用Fiddler.exe抓包工具获取到动态网页的获取数据的地址:

2.常见的爬虫手段，发现网站的反爬虫非常厉害，直接屏蔽。selenium也不行。

3.最后发现pyppeteer可以，经过反复调整最后能稳定的获取到数据。最初的想法是能获取到全部的概念列表和概念成分列表，这样就能实时监控到概念的新增，然后及时提醒，

4.最后的单个网页的爬虫实现代码如下，其他同理:

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

geeksquant

关注关注

2
点赞
踩
19

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

使用Python爬取同花顺数据

CodeHeroicX的博客

09-15

4119

通过使用requests库发送HTTP请求，并使用BeautifulSoup库解析HTML页面，我们可以方便地提取所需的数据。现在，我们可以使用BeautifulSoup提供的方法来提取页面上的数据。Python是一种功能强大的编程语言，可以用于各种任务，包括网络数据爬取。在本文中，我将向您展示如何使用Python爬取同花顺网站上的数据，并提供相应的源代码。类似地，我们可以提取其他感兴趣的数据，如股票代码、最新价格等。接下来，我们需要确定要爬取的同花顺页面的URL。首先，我们需要安装一些必要的库。

使用 DrissionPage——实现同花顺股票数据自动化爬虫

2 条评论

geeksquant 2022.05.23
time.sleep(5) 换成 await asyncio.sleep(5)

同花顺股票数据逆向：Cookie加密和Hook注入

switch616的博客

07-22

3076

首先，我们使用抓包工具对同花顺的股票数据接口进行分析，发现其中的Cookie参数经过了加密处理。接下来我们需要深入挖掘这些加密参数的生成位置，并且使用hook注入工具。

同花顺动态Cookie反爬JS逆向分析

吴秋霖的博客

10-19

1万+

某花顺股票行情网站Cookie反爬虫JS逆向分析实战，获取动态Cookie

Python 爬虫实战：深入同花顺，抓取股票行情数据，助力投资决策

u014481728的博客

01-30

4515

通过本次 Python 爬虫实战，我们成功地从同花顺抓取了股票行情数据，并进行了存储、处理、分析和可视化展示。在这个过程中，我们不仅掌握了爬虫技术的基本应用，还学会了如何对动态加载的数据进行处理和分析。然而，本次爬虫任务也存在一些局限性，例如仅爬取了部分股票的数据，且未对股票的历史行情进行深入分析。在未来的工作中，我们可以进一步优化爬虫程序，爬取更多股票的数据，并深入分析股票的历史行情走势、技术指标等，为投资者提供更有价值的数据支持。

Python网络爬虫数据采集实战：同花顺动态网页爬取

热门推荐

大数据之眸

03-09

2万+

前文的爬虫都建立在静态网页基础之上，首先通过请求网站url获取到网页源代码。之后对源代码进行信息提取进而存储即可，本文则针对动态网页进行数据采集，首先介绍Ajax相关理论，之后实战爬取同花顺动态网页，获取个股相关信息。目录一、Ajax理论 1.Ajax简介 2.Ajax分析 3.Ajax提取二、网页分析 1.网页概览 2.A...

同花顺（股市）爬虫

qq_43704986的博客

07-11

5429

爬取同花顺（http://q.10jqka.com.cn）站点前20页股市数据并存储在xlsx文件难度中逆向参数 hexin-v =>>刷新一次会有有效次数 import copy import requests import pandas as pd from tqdm import tqdm from parsel import Selector headers = { 'hexin-v': '嘻嘻', 'User-Agent': 'Mozilla/5.0 (Wi

同花顺数据爬取并生成K线

reset2021的博客

02-17

1945

要使用Python爬取同花顺股票数据并生成K线图，你可以按照以下步骤进行。我们将使用`requests`库来获取数据，`pandas`来处理数据，`matplotlib`来绘制K线图。以下是一个简单的示例，假设你已经找到了一个可以获取股票数据的API。使用`mplfinance`库来生成K线图。`mplfinance`是专门用于绘制金融图表的库，支持K线图、成交量图等。如果你无法通过API获取数据，可以考虑使用`selenium`模拟浏览器操作来获取数据，但这通常会更复杂且效率较低。

python爬取同花顺_python 爬虫--同花顺-使用代理

weixin_39966740的博客

11-26

520

1.http://www.goubanjia.com/ 在上面获取使用http协议的公网IP和端口参考：https://blog.youkuaiyun.com/qq_23934063/article/details/790639372. 关键代码如下：#python3# coding: utf-8from bs4 import BeautifulSoupimport requestsimport jso...

基于Python的异步爬虫实战：高效抓取同花顺概念板块数据

2201_76125261的博客

06-29

1171

python爬取同花顺_Python爬虫-同花顺行业历史数据及成分股

weixin_39681724的博客

11-26

1896

所有板块板块历史走势成分股行业历史数据成分股爬取存储1. Q:如何获取板块日线K线图中的数据？A：图中的K线图不是flash动画，鼠标移动，是会显示每天的价格情况，因此猜测是JS动态加载生成的通过F12抓包无找到相应的js文件运气使然无意间点到K线图的+-缩放键新增了两个文件 2017.js、2018.js 里面便有想要的数据，分别是17年和18年每天的数据数据格式对应为日期、开盘价、...

爬取同花顺网站中上市公司财务报表数据（可用）

06-18

爬取同花顺网站中上市公司财务报表数据（可用）

Python爬取同花顺每日股票公告信息实例

12-04

每日股票公告信息，一览无遗，同花顺最数据，利好公告信息

同花顺核心题材内容检索工具.exe

10-15

同花顺核心题材检索工具，可以检索同花顺行情软件的核心题材内容。可以支持多个关键字相与检索。检索效率高，速度块。

python爬取同花顺_Java爬取同花顺股票数据（附源码）

weixin_39997443的博客

11-26

3090

最近有小伙伴问我能不能抓取同花顺的数据，最近股票行情还不错，想把数据抓下来自己分析分析。我大A股，大家都知道的，一个概念火了，相应的股票就都大涨。如果能及时获取股票涨跌信息，那就能在刚开始火起来的时候杀进去，小赚一笔。但是股票那么多，小伙伴也盯不过来，于是就微信问我，能不能抓取同花顺的板块下的股票信息存到数据库里？他就能根据数据库里的数据，制定一些策略。俗话说：哪里有痛点，哪里就有编程！不就是个同...

用爬虫批量采集同花顺圈子评论数据

weixin_43777427的博客

12-04

1622

大数据是什么？对于“大数据”（Big data）研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。而麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。随着...

模拟浏览器点击进行爬取同花顺概念板块数据

u011646912的博客

01-13

1928

import asyncio # from multiprocessing import Pool from tqdm import tqdm import pandas as pd from pyppeteer import launch proxy = 'http://***.***.***.***:***' args = [f'--proxy-server={proxy}', '--disable-infobars', '--window-size=1920,1080', '--no-sandb.

python爬虫进阶篇：利用Scrapy爬取同花顺个股行情并发送邮件通知

code_space

12-19

1万+

python爬虫进阶篇：利用Scrapy爬取同花顺个股行情并发送邮件通知，来结合现实场景利用scrapy给我们带来便利

echarts 词云_python Flask+爬虫制作股票查询、历史数据、股评词云网页

weixin_39975868的博客

11-24

628

自学python的数据分析，爬虫后，花了几天时间看视频学习Flask做了一个简单的股票查询网页。本来还想着加入一些其他功能，比如财务指标分析，舆情分析，最完美的想法是做成一个股票评分系统，输入股票代码可以自动输出分析结果和最终评分以及排名。但是限于没有服务器（不想花钱买）于是先到此为止，后面计划先实现股票评分的本地系统化，然后有机会再部署到网站上。有类似想法的欢迎交流~ 先放一张最终效果图...