爬取集思录可转债成交额

最新推荐文章于 2024-03-11 14:14:22 发布
最新推荐文章于 2024-03-11 14:14:22 发布
阅读量1.9k 收藏 10
点赞数 1
CC 4.0 BY-SA版权
分类专栏： python 爬虫 文章标签： 爬虫 python 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_45067072/article/details/120256620
本文介绍了如何使用Python和正则表达式从集思录网站爬取可转债成交额数据。作者发现数据以表格形式存在，不需抓取JSON，通过分析源代码，决定采用正则表达式匹配，成功获取并处理数据，最终将程序打包成EXE文件，实现自动运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  大家好，这里是滑稽研究所，干活了干活了。本期我需要爬取集思录网站的可转债等权指数里成交额的数据。
图片
  我们浏览整个网页之后发现曲线中的数据会以表格的形式出现在网页下方，如下。
图片
  对比数据之后发现表格数据与曲线数据相等。那我们直接爬取表格里的数据。通过检查网页源代码之后发现，可以直接知道数据，也就是说不需要抓取json数据了。
图片
  进一步观察数据发现，这些数据并不是像往常一样放在一个个规范的HTML标签中的，和在开发者模式中呈现的形式不同。
图片
  但爬取下来的网页是源代码的形式，因此判断使用xpath是无法正确的匹配到我们需要的数据的。因此这次选择采用正则表达式的方式来匹配数据。到这里思路整理完毕，剩下的就是对数据的筛选以及一些格式上的转换，我们都放在代码中处理。
  源代码：


from bs4 import BeautifulSoup
import requests
im
最低0.47元/天 解锁文章

200万优质内容无限畅学
集思录REITs基金数据python爬取写入EXCEL表
weixin_43025064的博客
02-06 1万+
使用python获取REITs基金数据写入excel表，保存到指定文件夹下，并以计算机日期命名
集思录封闭基金数据python爬取写入excel表
weixin_43025064的博客
02-06 1770
使用python爬取封闭基金数据，以计算机日期命名，保存到指定文件夹下
集思录可转债爬取
热门推荐
you 是 mine
03-26 1万+
本代码是爬取集思录可转债信息，（除去了发布赎回的，根据安道全老师的三条安全线投资法添加了建仓线、加仓线、重仓线），价格达到三条线的，给与操作提示。 # V交流：15188607997 # -*- coding:utf-8 -*- import json import requests import csv import re from lxml import etree def get_dat(...
6.6 集思录——可转债信息爬取（使用XPath获取所需网页源代码，解决selenium模拟登录但是未能获取目标网页源代码、MultiIndex问题）
Triumph19的博客
04-09 1万+
本节要从债券相关网站集思录上爬取可转债信息。在浏览器中打开网址https://www.jisilu.cn/data/cbnew/#cb，可看到可转债的各种信息，如下图所示。 首先用Selenium库访问网址并获取网页源代码，代码如下： from selenium import webdriver browser = webdriver.Chrome() url = 'https://www.jisilu.cn/data/cbnew/#cb' browser.get(url) data = browse.
python爬取邮件内容_Python爬虫-爬取集思录的金融信息,并写入文件和检测数据变化发送邮件通知...
weixin_39709178的博客
11-24 928
#!/usr/bin/env python# -*- coding: utf-8 -*-# @Date : 2017-09-2821:06:29# @Author : kangvcar(kangvcar@126.com)# @Link :http://www.github.com/kangvcar/# @Version : $Id$import sslfrom selenium im...
可转债代码交流第三期：利用Python获取集思录可转债单独页面数据
Sevemt的博客
01-17 2147
selenium数据获取
简单的数据抓取
馨新欣心
05-04 626
import net.sf.json.JSONArray; import net.sf.json.JSONObject; import org.springframework.http.HttpEntity; import org.springframework.http.HttpHeaders; import org.springframework.http.HttpMethod; import
Python爬虫-爬取集思录的金融信息,并写入文件和检测数据变化发送邮件通知
KangVcar
10-17 8004
项目代码地址: ===欢迎fork 、star === https://github.com/kangvcar/pyproject/blob/master/Spiders/Spider_jisilu_4.py
可转债代码交流第二期：利用Python获取集思录数据（改）
Sevemt的博客
10-14 3655
集思录模拟登录
备忘录怎么导出数据 备忘录数据导出方法
最新发布
lee54621的博客
03-11 620
在忙碌的生活中，我时常依赖于备忘录来记录重要的信息，从工作截止日期到生活琐事，无一不靠它来帮我分担记忆的压力。但随着时间的推移，我发现有时候我不仅仅需要在软件内查看这些信息，还需要将它们导出，或许是为了打印出来贴在墙上，或许是为了用别的方式进行更详细的编辑。如果你也像我一样，希望找到一个既好用又能轻松导出数据的备忘录，它或许会成为你生活中的一个小助手，让你的每一天都更加有序和高效。导出后的数据，我可以自由地进行编辑、打印或分享，这为我的工作和生活带来了极大的便利。那么，备忘录怎么导出数据呢？
已退市可转债数据爬取.ipynb
05-16
从集思录爬取已退市可转债数据，并进行可视化
可转债数据一览表集思录_EXCEL一键获取可转债所有实时数据
weixin_39559071的博客
01-12 5974
在本文的底部，各位读者可以获取对应的EXCEL模板。偶尔使用集思录数据做可转债投资，但一些关键数据需要注册会员才可以使用，而且分析时经常需要导入到EXCEL中计算更多的个性指标。因此，我用EXCEL做了一个查询，该查询能够实时爬取某公开财经网站上所有可转债的实时数据以及相关指标，替代集思录的可转债数据。其中：1.实时数据：每5分钟自动更新一次，当然也可以实时做手动更新。手动更新操作如下：首先启用外...
可转债代码交流第四期：利用Python获取理杏仁数据
Sevemt的博客
06-02 1077
利用理杏仁API接口获取股票财务数据
爬取东方财富网可转债数据并清洗
ucas_hit_xza的博客
11-22 3747
2019年开始可转债进入了黄金时期，2020因为忙活毕业和读研的事一直没什么时间写一写东西，现在重新拿出来之前的代码梳理一下爬虫的思路。 1、确定爬取链接，修改http headers 确定爬取链接很容易，就是你要爬的是哪个网址，这个总得有个数对吧。 http headers 如果不修改的话，里面会写着是python程序发送的请求，随便一个网站做一点反爬措施的话就会拦截我们的请求， 所以还是要改一下headers，伪装成正常的浏览器发送的请求。 2、urllib.request.Request构造
爬虫学习实例 - selenium Webdirver爬取集思录债券数据
谢育政的博客
09-28 4675
#!python3 #coding:utf-8 ''' ################################ @ MyBlog: blog.youkuaiyun.com/hjxzt1 www.mykurol.com github: https://github.com/kurolz ################################ 爬取集思录网...
Java爬虫，数据采集经验分享
zhoupan1的博客
07-09 5021
抓取网页中源代码中的数据，用Jsoup解析html标签
使用Python爬取双低转债及三要素可转债，自动发送邮件
zsyoung的博客
03-28 3828
双低转债及三要素可转债 注：爬取集思录上的可转债信息，并按照规则进行筛选排序，仅供交流学习之用，请勿用于商业用途 项目地址：https://gitee.com/zsyoung01/kzz 介绍 可转债双低转债和三要素转债策略，数据抓取自集思录 1、已支持三种排序筛选方式（最终结果逆序排序）： 溢价率升序排名+价格升序排名+到期收益率降序排名 溢价率+价格-到期收益率 溢价率+剩余年限-到期收益率 2、实现Email添加附件发送功能 未来计划加入数据回测功能及数据告警发送email功能 特性 网络请求-数据
用python爬取集思录转债数据的详细代码
05-24
以下是一个简单的Python爬虫程序，用于从集思录网站上获取转债数据： ```python import requests from bs4 import BeautifulSoup url = "https://www.jisilu.cn/data/convertible-bond-list/?___jsl=LST___t=" response = requests.get(url) soup = BeautifulSoup(response.content, 'html.parser') table = soup.find("table", {"class": "table table-hover"}) rows = table.findAll("tr") for row in rows: cells = row.findAll("td") if len(cells) > 0: name = cells[2].text.strip() price = cells[3].text.strip() convert_price = cells[4].text.strip() convert_premium = cells[5].text.strip() print(name, price, convert_price, convert_premium) ``` 这个程序使用了requests和BeautifulSoup库，首先向集思录的网址发送请求，并使用BeautifulSoup解析HTML响应。 然后，程序在页面中查找包含转债数据的表格，并逐行解析每行的单元格。程序从每个单元格中提取数据，并将其打印到控制台。 请注意，这个程序只是一个示例，可能需要根据您的需求进行修改。另外，请确保您的爬虫程序遵守网站的使用条款和政策。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值