python爬虫学习 之 定向爬取 股票信息

一、功能描述
目标：获取上交所和深交所所有股票的名称和交易 信息
输出：保存到文件中

技术路线：requests-bs4-re

二、
选取原则：股票信息静态存在于HTML页面中，非js代码生成，没有robots协议限制

三、程序的结构设计
1、从东方财富网获取股票列表
2、根据股票列表逐个到百度股票获取个股信息
3、将结果存储到文件

四、

import requests
from bs4 import BeautifulSoup
import traceback
import re


def getHTMLText(url):
    try:
        r = requests.get(url, timeout=30)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""

#构造得到股票编号列表的函数
def getStockList(lst, stockURL):
    html = getHTMLText(stockURL)
    soup = BeautifulSoup(html, 'html.parser')
    a = soup.find_all('a')
    for i in a:
        try:
            href = i.attrs['href']
            lst.append(re.findall(r"[s][hz]\d{6}", href)[0])
        except:
            continue

#构