批量获取股票价格

猄为天人

于 2019-12-13 01:33:52 发布

阅读量1.5k

点赞数 2

CC 4.0 BY-SA版权

分类专栏： py爬虫练习 python

本文链接：https://blog.youkuaiyun.com/Zitray/article/details/103519120

本文介绍如何利用爬虫自动化批量获取股票价格，特别关注了处理JavaScript生成的网页内容以及解决汉字乱码问题。通过使用requests_html库解析网页，并通过相应方法处理编码问题，实现有效抓取和正确显示数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

利用网页结构的相似性

爬虫的目的，是从网站中 自动化 的批量提取数据。

事实上，很多网站使用 Javascript 代码来生成网页内容，你的爬虫需要正确解析 Javascript 才能获得你所看到的页面。

requests_html 库提供了一个简单的方法来处理应对情况，你只需要在 r = session.get(link) 后，增加一行 r.html.render()，重新运行代码即可。

（初次运行时需要下载一些辅助工具，请耐心等待，如果下载进度条迟迟未能出现，重新运行程序。）

from requests_html import HTMLSession
session = HTMLSession()
links = ['http://stock.finance.sina.com.cn/usstock/quotes/aapl.html',
         'http://stock.finance.sina.com.cn/usstock/quotes/msft.html',
         'http://stock.finance.sina.com.cn/usstock/quotes/bidu.html',
         'https://stock.finance.sina.com.cn/usstock/quotes/NTES.html']
for index in links:
    r = session.get(index)
    r.html.render()#需要正确解析 Javascript 才能获得你所看到的页面
    title = r.html.find('body > div.wrap.topbar > div.crumbs'