利用bs4和requests爬取股票历史交易数据

最新推荐文章于 2025-03-26 13:38:38 发布
最新推荐文章于 2025-03-26 13:38:38 发布
阅读量5.7k 收藏 17
点赞数 6
分类专栏： python 文章标签： 爬虫 python 机器学习 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_25936689/article/details/53217221
版权
本文介绍了如何利用Python的requests和BeautifulSoup库爬取网易财经的股票历史交易数据。通过构建URL参数，针对特定股票、年度和季度获取交易记录，并将数据保存到CSV文件中。详细步骤包括构造URL、解析HTML表格、数据处理以及循环爬取多个季度的数据。源代码已开源在GitHub上。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近在学习优达学院的一门机器学习的课程，主要讲解利用机器学习分析股票数据，然后闭嘴闭嘴闭嘴。课程网址在这里：https://classroom.udacity.com/courses/ud501

所以需要大量的股票数据，我就先百度了一下，发现网易财经的数据很全，暴露的也很好，所以的数据都是放在一个<table>标签中，


所以我就决定爬网易财经了，开始着手写爬虫。

首先，是构造url。

假如我要查询中国石油(601857)的2016年度的第三季度的交易数据，url是这样的。

http://quotes.money.163.com/trade/lsjysj_601857.html?year=2016&season=3

我们发现，这段url有3个参数，股票的代码601857，年度2016，季度3

只要

最低0.47元/天 解锁文章
Python-TuShare是爬取中国股票历史数据的工具
08-10
TuShare是实现对股票/期货等金融数据从**数据采集**、**清洗加工** 到 **数据存储**过程的工具
python抓取股票信息_python爬虫bs4抓取股票信息
weixin_39785970的博客
12-06 116
import urllib.requestimport urllib.parsefrom bs4 import BeautifulSoupfrom day04.Item import Stockurl = 'http://quote.stockstar.com/'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) Apple...
Python 爬取实时股票数据并进行分析
最新发布
2501_91170328的博客
03-26 764
通过本文的学习，我们掌握了如何使用 Python 爬取实时股票数据，并进行简单的数据分析和可视化。当然，实际应用中可能需要处理更复杂的情况，比如多线程抓取、异常处理等。希望本文能为你的学习提供一定的帮助。如果你对更高级的功能感兴趣，可以尝试集成更多的功能模块，如机器学习模型来预测未来股价走势。```
怎么用python获取股票_python利用re,bs4,requests模块获取股票数据
weixin_39766910的博客
12-08 237
今天闲来无聊无意间看到了百度股票，就想着用python爬一下数据，于是就找到了东方财经网，结合这两个网站，写了一个小爬虫，数据保存在文件中，比较简单的示例，就当做用来练习正则表达式和BeautifulSoupl了。首先页面分析，打开东方财经网股票列表页，和百度股票详情页 ，右键查看网页源代码，网址后面的代码就是股票代码，所以打算先获取股票代码，然后获取详情，废话少说，直接上代码吧：import r...
爬虫学习——"股票数据定向爬虫"（技术路线requests-bs4-re）(来源于北理工Python网络爬虫与信息提取网络公开课)
我就是这样的自己的博客
08-08 1376
股票数据定向爬虫 来自北理工网络公开课——Python网络爬虫与信息提取 课程链接http://open.163.com/movie/2019/5/I/O/MEEMCM1NP_MEF0L2JIO.html 功能描述： 目标：获取上交所和深交所所有股票的名称和交易信息 输出：保存到文件中 技术方案：requests-bs4-re 候选网站： 1、新浪股票：http://finance.sin...
php 爬取股票数据库,【实例】--股票数据定向爬取
weixin_31349647的博客
03-13 656
从股票列表网页获取股票代码根据股票代码去股票详情页面获取股票详细信息1、 股票列表页面凤凰网财经—股票信息http://app.finance.ifeng.com/list/stock.php?t=ha&f=chg_pct&o=desc&p=12、 股票详细信息老虎社区—股票详情股票数据定向爬取思路1、 查看网站robots协议，查看网站是否可以爬取2、 查看网页源代码，查...
Python 爬取股票数据源码实现方案
03-19
这里以雅虎财经为例，你可以使用`yfinance`库，这是一个方便的Python库，可以直接获取股票的历史数据和实时报价。 ```python # 安装yfinance库 !pip install yfinance # 导入必要的库 import yfinance as yf # ...
【爬虫】scrapy爬取股票历史数据并保存成CSV文档
yao09605的博客
07-05 2892
这个爬虫是接着上个爬虫做的，先送上传送门：https://blog.youkuaiyun.com/yao09605/article/details/94596341 我们的目标网址是 http://quotes.money.163.com/trade/lsjysj_股票代码.html 股票代码的来源就是上个爬虫存到mongodb里面的股票列表 先在terminal中新建项目: scrapy startpro...
Python 爬取新浪财经部分股票的历史交易数据
热门推荐
weixin_42009192的博客
04-21 1万+
本文仅供学习交流，如有错误纰漏，还请谅解，欢迎大家一起来学习探讨！参考资料（感谢！）爬取准备爬取思路模块1：网页表格数据爬取模块2：添加输出数据源代码（近期可能还要修改...）爬取近一个月的历史交易数据爬取近一年的历史交易数据 参考资料（感谢！） 配角七三—如何抓取网页中的表格: https://zhuanlan.zhihu.com/p/33986020 爬取准备 import requests ...
利用python爬取股票交易数据
renyuan_99的博客
12-17 4734
利用python爬取股票交易数据 分析网站 找到返回的url url = https://xueqiu.com/service/v5/stock/screener/quote/list?page={page}&size=30&order=desc&order_by=amount&exchange=CN&market=CN&type=sha&_=1637908787379 爬取股票交易数据 思路，我们利用request来请求json数据，使用pand
python爬取雅虎财经股票交易数据
07-23
利用python编写了一个爬虫代码，爬取雅虎财经股票交易数据，可以更改URL，爬取其他网站数据
Python爬取同花顺每日股票公告信息实例
12-04
每日股票公告信息，一览无遗，同花顺最数据，利好公告信息
python爬虫bs4抓取股票信息
qq_31864971的博客
02-15 444
import urllib.request import urllib.parse from bs4 import BeautifulSoup from day04.Item import Stock url = 'http://quote.stockstar.com/' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; ...
Python爬虫案例：简单获取股票、指数、三大报表数据
celiaweiwei的博客
07-22 8878
爬取股票、指数和三大报表数据的目的和意义在于获取金融市场和上市公司的实时和历史数据，以供进一步分析、研究和决策。通过爬取股票数据，我们可以追踪股票价格的变化和波动，识别潜在的投资机会和风险，从而进行有效的股票交易。爬取指数数据可以帮助我们了解整个市场的走势和表现，监测市场整体风险和趋势，为资产配置和投资决策提供重要参考。
【机器学习】股票数据爬取与展示分析（有代码链接）
weixin_73074012的博客
10-26 5062
这里需要注意在直接复制过来的url后面需要加上一个format(num)用来限制爬取的数据数量。可能我们仅仅想要创业板块的数据，单独选择这个面板，然后右键鼠标选择检查页面。这里红色框框出来的部分就是等下爬虫的时候要用到的地址。为例，其他的都殊途同归😁。
Python爬虫实战：爬取股票信息
2301_76161259的博客
03-18 5079
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取本次选题是先写好代码再写的文章，绝对可以用到页面元素解析，并且还需要对网站的数据加载有一定的分析，才能得到最终的数据，并且小编找的这两个数据源无 ip 访问限制，质量有保证，绝对是小白练手的绝佳之选。郑重声明： 本文仅用于学习等目的。① Python所有方向的学习路线图，清楚各个方向要学什么东西。
对某股票数据的爬取
m0_58718615的博客
03-05 2706
我代码里面涉及到一个self.url_requests(url)这个方法，是我自己写的一个requset请求（包含异常处理），大家可以直接使用request.get(url，headers=header)这个方法，如果需要我写的这个的方法也可以在下面评论联系我，我给大家发出来。我这边是用的BeautifulSoup，然后通过找到对应的标签获取到翻页参数的最大值，当然如果不需要后期再进行爬取，可以直接将这个参数的最大值赋值，就不需要我这一步；url：就是我们需要访问的网址；
如何使用Python抓取股票市场数据：实时和历史数据爬虫实现
2201_76125261的博客
02-10 1482
股票市场是一个全球化、信息丰富且数据庞大的领域。对于投资者、数据分析师、研究人员等群体，获取实时和历史股票数据是进行决策分析、模型预测和趋势分析的基础。为了有效地抓取股票数据，Python作为一种流行的编程语言，凭借其强大的库支持和简便的开发流程，成为进行数据抓取和分析的首选语言。本文将详细介绍如何使用Python编写股票数据爬虫，抓取股票市场的实时数据和历史数据。我们将使用流行的。
python爬取股票一年数据
02-07
### 编写Python程序爬取过去一年的股票数据 为了实现这一目标，可以采用`requests`库来发起HTTP请求获取网页内容，并利用`BeautifulSoup`库解析HTML文档。对于更复杂的API交互或动态加载的内容，则可能需要用到`pandas`处理数据以及`selenium`模拟浏览器行为。 #### 准备工作 安装必要的第三方库可以通过pip命令完成： ```bash pip install requests beautifulsoup4 pandas selenium ``` #### 获取页面内容 构建一个函数用于访问指定日期区间内的股票行情页： ```python import requests from datetime import date, timedelta def fetch_stock_page(stock_code, start_date, end_date): base_url = f"http://example.com/stock/{stock_code}/history?" params = { 'start': start_date.strftime('%Y-%m-%d'), 'end': end_date.strftime('%Y-%m-%d') } try: response = requests.get(base_url, params=params) response.raise_for_status() return response.text except Exception as e: print(f"Error fetching page: {e}") return None ``` 此处假设存在这样一个URL模式可以直接接收起始和结束日期作为参数查询特定时间段的数据[^2]。 #### 解析并提取所需信息 定义另一个辅助方法负责从返回的结果中抽取有用的信息片段： ```python from bs4 import BeautifulSoup def parse_html(html_content): soup = BeautifulSoup(html_content, "lxml") table_body = soup.find('tbody') rows = [] if not table_body: return rows for row in table_body.find_all('tr'): cols = row.find_all('td') cols = [ele.text.strip() for ele in cols] # 这里可以根据实际情况调整列数及含义 record = { 'date': cols[0], 'open_price': float(cols[1].replace(',', '')), 'close_price': float(cols[2].replace(',', '')), 'high_price': float(cols[3].replace(',', '')), 'low_price': float(cols[4].replace(',', '')), 'volume': int(cols[5].replace(',', '')) } rows.append(record) return rows ``` 这段代码会遍历表格中的每一行记录，并将其转换成字典形式存储起来以便后续操作[^3]。 #### 主逻辑流程控制 最后，在主程序部分调用上述两个组件组合而成的功能模块，循环读取每一天的历史交易情况直至覆盖整个年度周期： ```python if __name__ == "__main__": stock_id = input("请输入要抓取的股票代码:") today = date.today() one_year_ago = today - timedelta(days=365) raw_pages = fetch_stock_page(stock_id, one_year_ago, today) parsed_records = parse_html(raw_pages) df = pd.DataFrame(parsed_records) output_file_path = f"./{stock_id}_last_year.csv" df.to_csv(output_file_path, index=False, encoding='utf-8-sig') print(f"成功保存至文件：{output_file_path}") ``` 以上就是完整的基于Python编写的简单版股票历史数据收集器的设计思路与具体实施步骤[^4]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值