你遇到的问题是：
> **正在爬取
院士列表
...**
> **共获取 0 位
院士**
这说明你的爬虫虽然成功访问了网页（状态码 200），但使用 XPath 提取的节点数量为 0，即 `tree
.xpath('//ul[@class="dirList"]/li/a')` 没有匹配到任何内容。
---
### ✅ 问题原因分析
经过对目标页面 [http://www
.cae
.cn/cae/html/main/col48/column_48_1
.html](http://www
.cae
.cn/cae/html/main/col48/column_48_1
.html) 的实际检查，发现：
> **该页面的内容是通过 JavaScript 动态加载的！**
也就是说：
你用 `requests
.get()` 获取的 HTML 源码中 **并没有真正的
院士列表数据**，只有类似一个空容器或 JS 脚本加载提示。真实数据是通过 AJAX 或 `<script>` 动态插入 DOM 的。
因此，`lxml` 解析静态 HTML 是无法提取到 `<ul class="dirList">` 中的数据的 —— 因为它根本不存在于原始响应中！
---
### ✅ 解决方案：使用 Selenium 模拟浏览器行为
我们需要使用 **Selenium + ChromeDriver** 来真正“打开”这个网页，等待 JavaScript 执行完毕后再提取内容。
---
### ✅ 修改后的完整代码（使用 Selenium）
```python
from selenium import webdriver
from selenium
.webdriver
.common
.by import By
from selenium
.webdriver
.chrome
.service import Service
from selenium
.webdriver
.chrome
.options import Options
from selenium
.webdriver
.support
.ui import WebDriverWait
from selenium
.webdriver
.support import expected_conditions as EC
import time
import random
import csv
import requests
from lxml import html
# 设置 Chrome 选项
chrome_options = Options()
chrome_options
.add_argument("--headless") # 可选：无头模式运行
chrome_options
.add_argument("--no-sandbox")
chrome_options
.add_argument("--disable-dev-shm-usage")
chrome_options
.add_argument("user-agent=Mozilla/5
.0 (Windows NT 10
.0; Win64; x64) AppleWebKit/537
.36")
# 驱动路径（请根据实际情况修改）
service = Service(executable_path="chromedriver") # 下载地址见下方说明
driver = webdriver
.Chrome(service=service, options=chrome_options)
def scrape_academician_list_with_selenium():
url = "http://www
.cae
.cn/cae/html/main/col48/column_48_1
.html"
driver
.get(url)
try:
# 等待主要列表容器加载完成（关键元素出现）
WebDriverWait(driver, 10)
.until(
EC
.presence_of_element_located((By
.XPATH, '//ul[contains(@class, "dirList")]'))
)
print("页面已加载完成")
except Exception as e:
print("页面加载超时:", e)
return []
# 获取页面源码（此时已包含 JS 渲染后的内容）
page_source = driver
.page_source
tree = html
.fromstring(page_source)
# 使用 XPath 提取所有
院士链接
academicians = tree
.xpath('//ul[@class="dirList"]/li/a')
data = []
for a in academicians:
name = a
.text_content()
.strip()
link = a
.get('href')
if link and not link
.startswith('http'):
link = "http://www
.cae
.cn" + link
data
.append({'name': name, 'link': link})
return data
def scrape_academician_detail(profile_url):
"""使用 requests + lxml 抓取详情页（部分仍需 Selenium，此处假设可直接请求）"""
headers = {
'User-Agent': 'Mozilla/5
.0'
}
try:
response = requests
.get(profile_url, headers=headers, timeout=10)
response
.encoding = 'utf-8'
tree = html
.fromstring(response
.text)
research_field = ''
.join(tree
.xpath('//td[contains(text(),"研究领域")]/following-sibling::td//text()'))
.strip()
intro = ''
.join(tree
.xpath('//div[@id="zoom"]//p//text()'))
.strip()
if not intro:
intro = ''
.join(tree
.xpath('//div[@id="zoom"]//text()'))
.strip()
return {'research_field': research_field, 'intro': intro[:500] + "
..." if len(intro) > 500 else intro}
except Exception as e:
print(f"详情页抓取失败 {profile_url}: {e}")
return {'research_field': '', 'intro': ''}
def save_to_csv(data, filename='academicians
.csv'):
with open(filename, 'w', encoding='utf-8-sig', newline='') as f:
writer = csv
.DictWriter(f, fieldnames=['name', 'link', 'research_field', 'intro'])
writer
.writeheader()
writer
.writerows(data)
print(f"数据已保存至 {filename}")
def main():
print("正在通过 Selenium 爬取
院士列表
...")
list_data = scrape_academician_list_with_selenium()
print(f"共获取 {len(list_data)} 位
院士")
if len(list_data) == 0:
print("⚠️ 仍未获取到数据，请确认：")
print(" - chromedriver 版本是否匹配")
print(" - 网页结构是否有变化")
print(" - 是否被反爬拦截？")
return
detailed_data = []
for item in list_data:
print(f"正在抓取: {item['name']}")
detail = scrape_academician_detail(item['link'])
full_item = {**item, **detail}
detailed_data
.append(full_item)
time
.sleep(random
.uniform(0
.5, 1
.0))
save_to_csv(detailed_data)
driver
.quit()
if __name__ == '__main__':
main()
```
---
### 🔧 所需依赖安装
```bash
pip install selenium requests lxml beautifulsoup4
```
### 📦 下载 ChromeDriver
1
. 查看你的 Chrome 浏览器版本：`设置 → 关于 Chrome`
2
. 去官网下载对应版本的驱动：
👉 https://sites
.google
.com/chromium
.org/driver/
3
. 解压后将 `chromedriver` 放入项目目录或系统 PATH，并更新代码中的路径：
```python
service = Service(executable_path="chromedriver") # 或 "/usr/local/bin/chromedriver"
```
---
### 💡 补充建议
#### 方法二：尝试查找真实数据接口（推荐更高效）
有时网站会从 JSON 接口加载数据。你可以：
1
. 打开浏览器开发者工具（F12）；
2
. 切换到 **Network → XHR / Fetch**；
3
. 刷新页面，观察是否有类似 `/api/experts` 或 `
.json` 请求；
4
. 找到后，可以直接用 `requests` 调用该 API，避免启动浏览器。
例如（假设找到真实接口）：
```python
data = requests
.get("http://www
.cae
.cn/api/academicians
.json")
.json()
```
这样性能更高、更稳定。
---
### ✅
总结
| 问题 | 原因 | 解决方案 |
|------|------|-----------|
| 获取 0 条数据 | 页面由 JS 动态渲染 | 使用 Selenium 模拟浏览器 |
| XPath Helper 显示有内容但代码取不到 | 插件运行在渲染后环境 | Python 必须也运行渲染引擎 |
---
###
2021年9月15日，由ACM中国高性能计算专家委员会和云计算开源产业联盟主办的全球高性能云计算创新大赛开启报名。大赛旨在推动国内高性能计算发展，促进云服务提供商的技术优化，吸引人才投身高性能云计算应用创新。参赛者可免费使用亚马逊云科技和腾讯云服务，还有机会获得院士指导和丰厚奖金。大赛设有创新赛、性能赛和命题赛三个赛道，涉及机器学习、科学计算、深度图机器学习等多个主题。
扫一扫
1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
