Python的动态加载机制

众所周知import是用来加载Python模块的,其实import是调用内建函数__import__来工作的,这就使我们动态加载模块变成了可能。

import glob, os

modules = []

for module_file in glob.glob('*-plugin.py'):		#glob.glob得到当前目录下匹配字符串的文件名
	
		module_name, ext = os.path.splitext(os.path.basename(module_file))		#将文件名以点号分开
		print(os.path.basename(module_file))
		print(ext)
		module = __import__(module_name)		#获得模块
		fun = getattr(module, 'hello')		#根据函数名获得函数
		print(fun)
		fun()
		modules.append(module)

for module in modules:
	module.hello()

下面我们来实现一个动态加载的类,当第一次使用该模块时,才会被加载

class LazyImport:
	def __init__(self, module_name):
		self.module_name = module_name
		self.module = None

	def __getattr__(self, funcname):
		if self.module is None:
			self.module = __import__(self.module_name)
			print(self.module)
		return getattr(self.module, funcname)



string = LazyImport('string')
print(string.ascii_lowercase)

其中,这个类的__getattr__方法,只有当这个类的对象调用了某个方法,并且找不到这个方法的时候会被自动调用。

一般象a.b这样的形式,python可能会先查找a.__dict__中是否存在,如果不存在会在类的__dict__中去查找,再没找到可能会去按这种方法去父类中进行查找。实在是找不到,会调用__getattr__,如果不存在则返回一个异常。那么__getattr__只有当找不到某个属性的时候才会被调用。

### 使用 Python 爬取动态加载网页内容的方法 对于通过 JavaScript 动态加载的内容,`Selenium` 提供了一种有效的方式来进行抓取。由于 `Selenium` 可以模拟真实的浏览器环境并执行页面上的 JavaScript 代码,这使得处理 AJAX 请求或其他形式的异步更新变得简单。 #### 安装 Selenium 库 为了开始使用 `Selenium` 进行爬虫开发,首先需要安装该库以及对应的 WebDriver 驱动程序: ```bash pip install selenium ``` 接着根据目标浏览器下载相应的驱动器版本,并将其路径加入系统的 PATH 中[^2]。 #### 实现一个简单的例子来获取动态加载的数据 下面展示了一个利用 `Selenium` 抓取由 JavaScript 渲染后的 HTML 页面的例子: ```python from selenium import webdriver from selenium.webdriver.common.by import By import time # 初始化 Chrome 浏览器实例 (也可以选择其他类型的浏览器) driver = webdriver.Chrome() try: # 打开指定 URL 地址的目标网站 driver.get('https://example.com') # 给予一定时间等待页面完全渲染完成 time.sleep(5) # 查找特定元素, 假设这里我们要找到 id="content" 的 div 标签内的所有 p 标签 elements = driver.find_elements(By.CSS_SELECTOR, '#content p') for element in elements: print(element.text) finally: # 关闭浏览器窗口 driver.quit() ``` 这段脚本会启动一个新的 Chrome 浏览器实例访问给定网址,在适当延迟之后读取所需的信息再关闭浏览器。注意这里的 `time.sleep()` 方法用来暂停执行一段时间让页面有足够的时间去加载所有的资源;实际应用中建议采用更优雅的方式来判断页面是否已经准备好,比如显式等待或隐式等待机制[^1]。 除了 `Selenium` 外,还有另一种较为轻量级的选择叫做 `requests-html`,它可以解析静态HTML文档的同时也能运行其中嵌入式的JavaScript片段从而达到类似的效果。不过相比之下,当涉及到复杂的交互逻辑时,还是推荐优先考虑 `Selenium` 方案因为它的稳定性和广泛的支持范围[^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值