Python爬虫之JS异步加载

本文介绍如何通过Ajax实现异步加载,并利用动态HTML技术改善用户体验。文章提供了使用jQuery和PhantomJS的具体实例,展示了如何等待特定元素加载完成。

一.判断异步加载方式(常用的JS库)

1. jQuery(70%)

# 搜索 jquery 茅塞顿开
<script src="http://ajax.googleapis.com/ajax/libs/jquery/1.9.1/jquery.min.js"></script>
<script src="/Scripts/jquery-1.11.2.min.js"></script>

2.Google Analytics(50%)

# 搜索 Google Analytics 
<!-- Google Analytics -->
<script type="text/javascript">

二.解决

1.Ajax Asynchronous JavaScript and XML(异步 JavaScript 和 XML)

使用Ajax向服务器发送表单(如,延迟加载,下拉刷新,底部刷新...)

2.动态HTML(dynamic HTML, DHTML)

一系列用于解决网络问题的技术集合(如,鼠标指向显示,下拉菜单实现)

代码实现

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
import time

# 指明phantomjs的执行路径
driver = webdriver.PhantomJS(executable_path=r'E:\software\phantomjs-2.1.1-windows\bin\phantomjs.exe')
driver.get("http://pythonscraping.com/pages/javascript/ajaxDemo.html")

# 方法1:显式给3秒加载时间
time.sleep(3)

# 方法2:让 Selenium 不断地检查某个元素是否存在,以此确定页面是否已经完全加载(需要导入库)
try:
    element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "loadedButton")))
finally:
    print(driver.page_source)
    driver.close()

# 获取内容
# print(driver.page_source)
#
# driver.close()

转载于:https://www.cnblogs.com/cenzhongman/p/7358009.html

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值