我在学习网络抓取,就像我从真实的网站上获取真实世界的数据一样。
但是,我从来没有遇到过这种问题。
通常可以通过右键单击网站部分,然后单击“检查”选项来搜索所需的HTML源代码。我马上跳到这个例子来解释这个问题。在
从上面的图片中,标有span class的红色原来不在那里,但是当我将光标放在(甚至没有点击)一个用户名上时,会弹出一个用于该用户的小框,也会显示span class。我最终想要获取的是嵌入在span类中的用户配置文件的链接地址,我不确定但是如果我能解析这个span类,我想我可以尝试获取链接地址,但是我总是无法解析隐藏的span类。在
我没有期望那么多,但是我的代码当然给了我一个空列表,因为当我的光标不在用户名上时,span类就不会出现。但我展示我的代码来展示我所做的。在from bs4 import BeautifulSoup
from selenium import webdriver
#Incognito Mode
option=webdriver.ChromeOptions()
option.add_argument("--incognito")
#Open Chrome
driver=webdriver.Chrome(executable_path="C:/Users/chromedriver.exe",options=option)
driver.get("https://www.tripadvisor.com/VacationRentalReview-g60742-d7951369-or20-Groove_Stone_Getaway-Asheville_North_Carolina.html")
time.sleep(3)
#parse html
html =driver.page_source
soup=BeautifulSoup(html,"html.parser")
hidden=soup.find_all("span", class_="ui_overlay ui_popover arrow_left")
print (hidden)
有没有任何简单直观的方法可以使用selenium解析隐藏的span类?如果我可以解析它,我可以使用'find'函数来解析一个用户的链接地址,然后遍历所有用户以获得所有链接地址。
非常感谢。在
=======================通过添加以下内容更新了问题===================
为了对我想要检索的内容添加一些更详细的说明,我想从下面的图片中获取用红色箭头指向的链接。谢谢你指出我需要更多的解释。在
============================到目前为止更新的代码====================
^{pr2}$
另外,在这种情况下,有没有方法迭代xpath?在