批量获取股票价格

最新推荐文章于 2025-06-14 17:40:17 发布

原创

最新推荐文章于 2025-06-14 17:40:17 发布 · 1.5k 阅读

4 ·

CC 4.0 BY-SA版权

本文介绍如何利用爬虫自动化批量获取股票价格，特别关注了处理JavaScript生成的网页内容以及解决汉字乱码问题。通过使用requests_html库解析网页，并通过相应方法处理编码问题，实现有效抓取和正确显示数据。

利用网页结构的相似性

爬虫的目的，是从网站中 自动化 的批量提取数据。

事实上，很多网站使用 Javascript 代码来生成网页内容，你的爬虫需要正确解析 Javascript 才能获得你所看到的页面。

requests_html 库提供了一个简单的方法来处理应对情况，你只需要在 r = session.get(link) 后，增加一行 r.html.render()，重新运行代码即可。

（初次运行时需要下载一些辅助工具，请耐心等待，如果下载进度条迟迟未能出现，重新运行程序。）

from requests_html import HTMLSession
session = HTMLSession()
links = ['http://stock.finance.sina.com.cn/usstock/quotes/aapl.html',
         'http://stock.finance.sina.com.cn/usstock/quotes/msft.html',
         'http://stock.finance.sina.com.cn/usstock/quotes/bidu.html',
         'https://stock.finance.sina.com.cn/usstock/quotes/NTES.html']
for index in links:
    r = session.get(index)
    r.html.render()#需要正确解析 Javascript 才能获得你所看到的页面
    title = r.html.find('body > div.wrap.topbar > div.crumbs'