python抓取网页html的内容,如何在Python中完成呈现后抓取网页的HTML内容

我目前的任务是搜集热门笑话网站。一个例子是一个名为jokes.cc.com的网站。如果您访问该网站，将光标悬停在页面左侧的“获取随机笑话”按钮上方，您会注意到它重定向到的链接将是jokes.cc.com/#。在

如果你等一段时间，它会变为网站内显示真正笑话的适当链接。它变为jokes.cc.com/*legit joke link*。在

如果您分析页面的HTML，您会注意到有一个链接()，它的class=random_link的存储了页面想要重定向给您的随机笑话的链接。您可以在页面完全加载后检查。基本上，“#”被合法链接取代。在

现在，这里是我的代码，用于删除HTML，就像我在静态网站上所做的那样。{cd6>已使用^库：import urllib

from bs4 import BeautifulSoup

urlToRead = "http://jokes.cc.com";

handle = urllib.urlopen(urlToRead)

htmlGunk = handle.read()

soup = BeautifulSoup(htmlGunk, "html.parser")

# Find out the exact position of the joke in the page

print soup.findAll('a', {'class':'random_link'})[0]Output: #

这是预期的输出，因为我意识到页面还没有完全呈现。在

在等待一段时间后，或者在呈现完成之后，我如何刮取页面。我是否需要使用外部库，如Mechanize？我不知道该怎么做，所以任何帮助/指导我都很感激

编辑：我终于能够通过在Python中使用PhantomJS和Selenium来解决我的问题。下面是在呈现完成后获取页面的代码。在

^{pr2}$