python的BeautifulSoup实现抓取网页数据

1环境：pycharm，python3.4

2.源码解析

import requests

import re

from bs4 import BeautifulSoup

#通过requests.get获取整个网页的数据

def getHtmlText(url):
    try:
        r = requests.get(url)
        # to cheack r.status_code is  your expected
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:

        return "craw failed"

#下图是网页中的内容：

#解析页面内容，通过find_all函数find所有的a标签的内容，返回一个list，

然后通过正则表达式匹配re.findall(r"[s][zh]\d{6}", href，得到href中的诸如sh201002或者sz201001这样的号码；将所有得号码赋给一个list保存

def getHtmlList(lst, list_url):

    html = getHtmlText(list_url)
    soup = BeautifulSoup(html, "html.parser")
    a = soup.find_all('a')


    for i in a:
        try:
            href = i.attrs['href']
            lst.append(re.findall(r"[s][zh]\d{6}", href)[0])
        except:
            continue
    print("lst:", lst)

#下面函数作用：通过上一个函数得到的号码，传给这个函数，拼成另一个url，获取这个url网页中的数据

抓取过程同理；不同之处是这里通过soup.find("div", attrs={'class': 'stock-bets'})即：find函数抓取所有div标签，属性是stock-bets的内容，)，find只返回第一个符合条件的结果，所以soup.find()后面可以直接接.text或者get_text()来获得标签中的文本；find_all()得到的所有符合条件的结果和soup.select()一样都是列表list

def getHtmlInfo(lst, info_url, fpath):
    for l in lst:
        info_url = info_url + l + ".html"
        html = getHtmlText(info_url)
        try:
            if html == "":
                continue
            soup = BeautifulSoup(html, "html.parser")
            betsInfo = soup.find("div", attrs={'class': 'stock-bets'})


            infoDict = {}
            name = betsInfo.find_all(attrs={'class': 'bets-name'})[0]
            infoDict.update({"name": name.text.split()[0]})

#进一步得到标签是dd和dt的所有数据，所以这里用的find_all,返回一个list，这里dd是key值，dt可看成value值，存入字典
            keylist = betsInfo.find_all("dd")
            keyvalue = betsInfo.find_all("dt")


            for i in range(len(keylist)):
                try:
                    key = keylist[i].text
                    val = keyvalue[i].text
                    dict2 = {'key': 'val'}
                    infoDict.update(dict2)
                    # infoDict[key] = val
                except:
                    print("error")

#将我们要的数据写入文件

            with open(fpath, 'a', encoding='utf-8') as f:
                f.write(str(infoDict) + '\n')
           
        except:
            continue
#主函数，调用上面的抓取网页的函数即可
def main():
    list_url = "http://quote.eastmoney.com/stocklist.html"
    info_url = "https://gupiao.baidu.com/stock/"
    output_file = './stockInfo.txt'
    slist = []
    getHtmlList(slist, list_url)
    getHtmlInfo(slist, info_url, output_file)




main()