python实现爬取东方财富网

本文介绍了如何使用Python的requests, json和re模块爬取东方财富网的公司报表信息,并存储为CSV文件。通过修改参数,可以获取不同年份的数据,进行大数据分析。此外,还提到了利用selenium库在某些情况下抓取JavaScript渲染的数据,尽管这会降低效率。" 83239465,2820065,Java 8 Function与BiFunction解析及应用,"['函数式编程', 'Java API', '编程概念']

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在东方财富网上面有很多关于各个公司报表的信息,通过爬取上面的信息,我们可以分析其中数据,得到一些我们想要的结果!

本文通过requests/json/re模块爬取该网站的数据,存储为csv文件。具体代码实现如下!

import requests
import re
import json
import csv
import os
import time

# 设置文件保存本地文件夹下
file_path = '/Users/username/Desktop'
if not os.path.exists(file_path):
    os.mkdir(file_path)
os.chdir(file_path)


# 1 设置表格爬取时期
def set_table():
    print('*' * 80)
    print('\t\t\t\t东方财富网报表下载')
    print('--------------')

    # 1 设置财务报表获取时期
    year = int(float(input('请输入要查询的年份(四位数2008-2019):\n')))
    # int表示取整,里面加float是因为输入的是str,直接int会报错,float则不会
    # https://stackoverflow.com/questions/1841565/valueerror-invalid-literal-for-int-with-base-10
    while (year < 2008 or year > 2019):
        year = int(float(input('年份数值输入错误,请重新输入:\n')))

    quarter = int(float(input('请输入小写数字季度(1:1季报,2-年中报,3:3季报,4-年报):\n')))
    while (quarter < 1 or quarter > 4):
        quarter = int(float(input('季度数值输入错误,请重新输入:\n')))

    # 转换为所需的quarter 两种方法,2表示两位数,0表示不满2位用0补充,
    # http://www.runoob.com/python/att-string-format.html
    quarter = '{:02d}'.format(quarter * 3)
    # quarter = '%02d' %(int(month)*3)

    # 确定季度所对应的最后一天是30还是31号
    if (quarter == '06') or (quarter == '09'):
        day = 30
    else:
        day = 31
    date = '{}-{}-{}'.format(year, quarter, day)
    # print('date:', date)  # 测试日期 ok

    # 2 设置财务报表种类
    tables = int(
        input('请输入查询的报表种类对应的数字(1-业绩报表;2-业绩快报表:3-业绩预告表;4-预约披露时间表;5-资产负债表;6-利润表;7-现金流量表): \n'))

    dict_tables = {1: '业绩报表', 2: '业绩快报表', 3: '业绩预告表',
                   4: '预约披露时间表', 5: '资产负债表', 6: '利润表', 7: '现金流量表'}

    dict = {1: 'YJBB', 2: 'YJKB', 3: 'YJYG',
            4: 'YYPL', 5: 'ZCFZB', 6: 'LRB', 7: 'XJLLB'}
    category = dict[tables]

    # js请求参数里的type,第1-4个表的前缀是'YJBB20_',后3个表是'CWBB_'
    # 设置set_table()中的type、st、sr、filter参数
    if tables == 1:
        category_type = 'YJBB20_'
        st = 'latestnoticedate'
        sr = -1
        filter = "(securitytypecode in ('058001001','058001002'))(reportdate=^%s^)" % (date)
    elif tables == 2:
        category_type = 'YJBB20_'
        st = 'ldate'
        sr = -1
        filter = "(securitytypecode in ('058001001','058001002'))(rdate=^%s^)" % (date)
    elif tables == 3:
        category_type = 'YJBB20_'
        st = 'ndate'
        sr = -1
        filter = " (IsLatest='T')(enddate=^2018-06-30^)"
    elif tables == 4:
        category_type = 'YJBB20_'
        st = 'frdate'
        sr = 1
        filter = "(securitytypecode ='05800100
### 实现Python爬虫抓取东方财富网股票数据 为了实现东方财富网获取股票数据的功能,可以采用`requests`库来发送HTTP请求,并通过`BeautifulSoup`解析HTML文档。下面是一个简单的例子展示如何完成这一目标。 #### 准备工作 确保安装必要的包: ```bash pip install requests beautifulsoup4 pandas mysql-connector-python ``` #### 获取页面内容并解析 使用`requests.get()`方法访问网站URL,随后利用`BeautifulSoup`对象读取响应体中的文本信息,提取所需的数据字段: ```python import requests from bs4 import BeautifulSoup url = 'https://example.eastmoney.com/stock' # 替换成实际的目标网址 response = requests.get(url) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') # 假设表格位于<table>标签内 table = soup.find('table', {'class': 'quote'}) rows = table.findAll('tr')[1:] # 跳过表头 else: print(f"Failed to retrieve data with status code {response.status_code}") ``` 此部分代码负责连接至指定网页并定位到包含股票报价的具体位置[^1]。 #### 数据处理与保存 对于获得的信息,可进一步加工整理成结构化的形式以便后续分析或长期存档。这里提供两种常见的存储方式——CSV文件以及关系型数据库(如MySQL)。 ##### 存储为CSV文件 借助Pandas简化操作流程,快速导出为逗号分隔值格式: ```python import pandas as pd data_list = [] for row in rows: cols = row.find_all('td') col_text = [ele.text.strip() for ele in cols] data_list.append(col_text) df = pd.DataFrame(data_list) df.to_csv('./stocks.csv', index=False, header=['Code', 'Name', ...]) # 自定义列名 ``` 上述脚本会创建一个新的`.csv`文件并将收集来的记录写入其中。 ##### 插入到MySQL数据库 建立同远程服务器之间的链接后,执行SQL语句向特定表里添加新条目: ```python import mysql.connector conn = mysql.connector.connect( host="localhost", user="root", password="password", database="finance" ) cursor = conn.cursor() insert_query = """ INSERT INTO stocks (code, name,...) VALUES (%s,%s,...); """ for item in data_list: cursor.execute(insert_query, tuple(item)) conn.commit() cursor.close() conn.close() ``` 这段代码片段展示了怎样将之前搜集好的资料安全地迁移到持久化环境中去。
评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值