爬虫机试题-爬取新闻网站

最新推荐文章于 2025-03-27 12:08:48 发布

原创

最新推荐文章于 2025-03-27 12:08:48 发布 · 946 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫

本文介绍了如何通过Python编程，使用requests和BeautifulSoup库解析动态加载的HTML内容，提取新闻网站的标题、链接和部分详细内容，包括通过JavaScript代码获取的数据。

之前投简历时遇到了这样的一个笔试。本以为会是数据结构算法之类的没想到直接发了一个word直接提需求，感觉挺有意思就写了这篇文章，感兴趣的朋友可以看看。

拿到urllist

通过分析页面结构我们得以知道，这个页面本身没有新闻信息，是由js代码执行后才将信息插入到html中的，因此我们request拿到的代码是js执行前的代码，我们需要通过解析js代码来拿到想要的信息。

response = requests.get(url)
response.encoding = 'utf-8'
html_content = response.text
# print(html_content)
soup = BeautifulSoup(html_content, 'html.parser')
tag = soup.findAll('script')
# print(tag[9].text)
# 使用正则表达式匹配JavaScript代码中的item数组内容
pattern = re.compile(r"item[\d+]=new title_array('([^']+)','([^']+)','([^']+)');")
# 提取item数组中的数据
matches = pattern.findall(tag[9].text)
# 处理前15个匹配项
for i, match in enumerate(mat