python抓取动态数据 A股上市公司基本信息

最新推荐文章于 2025-06-16 11:55:48 发布

置顶

ssshen14

最新推荐文章于 2025-06-16 11:55:48 发布

阅读量1.3w

点赞数

CC 4.0 BY-SA版权

分类专栏：爬虫文章标签： python 抓取 json

本文链接：https://blog.youkuaiyun.com/ssshen14/article/details/52750223

1.背景

之前写的抓取A股所有上市公司信息的小程序在上交所网站改版后，需要同步修改

pyton2.7.9

2.分析过程

以抓取宇通客车【600066】信息为例

打开网址http://www.sse.com.cn/assortment/stock/list/info/company/index.shtml?COMPANY_CODE=600066

红框中的内容是需要抓取的信息，查看网页源码

可以看到公司信息并没有直接写到html中，使用chrome “开发者工具”快捷键F12，查看浏览器与服务器的交互过程（在这一步走了弯路，使用selenium+plantomjs模拟浏览器然后分析html以及使用ghost.py+beautifulsoup都没有成功）

可以在标红线的url上看到返回的公司信息，剩下的就是模拟浏览器请求这个url了，request header中的refer一定不能省略，不然会报403

返回的信息是json格式的，可以使用python自带的json库转换为dict，可以参考searchJ.js来获得想要的信息

具体见github网址https://github.com/shenyanf/AShareListedCompanyList

# -*- coding: utf-8 -*- 
'''
Created on 2016年4月19日
@author: a
'''
import urllib2
import json
from time import sleep


class JSONObject:
    def __init__(self, d):
        self.__dict__ = d

class AchieveSSEStockInfo:
    '''获得上海证卷交易所股票信息.'''
    
    # 指标的方法，顺序已经排好，请不要乱动
    __public__ = ['getCompanyCode', 'getCompanyShortName', 'getCompanyName', 'getCompanyEnlishName', 'getIpoAddress', 'getASharesCode',
                  'getASharesShortName', 'getASharesIPODate', 'getASharesTotalCapital', 'getASharesOutstandingCaptial', 'getBSharesCode',
                  'getBSharesShortName', 'getBSharesIPODate', 'getBSharesTotalCapital', 'getBSharesOutstandingCaptial', 'getArea', 'getProvince', 'getCity', 'getTrade', 'getWebsite']
    
    achieveIndexFromURLA = ['CHANGEABLE_BOND_ABBR', 'OFFICE_ZIP', 'AREA_NAME_DESC', 'FULL_NAME_IN_ENGLISH', 'COMPANY_CODE', 'CSRC_MIDDLE_CODE_DESC', 'SECURITY