使用beautifulsoup提取内容

最新推荐文章于 2024-09-05 02:56:12 发布

原创最新推荐文章于 2024-09-05 02:56:12 发布 · 2.6k 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#beautifulsoup

爬虫专栏收录该内容

6 篇文章

订阅专栏

本文介绍了一种使用BeautifulSoup库从丁香园论坛抓取帖子内容的方法，包括用户ID和帖子正文，展示了如何设置请求头以绕过网站防爬机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用beautifulsoup提取丁香园网页内容
Mac电脑打开chrome浏览器，打开要抓的网页，检查：
在这里插入图片描述
上代码：
import urllib.request
from bs4 import BeautifulSoup as bs
def main():
headers = {
“User-Agent”: “User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3717.0 Safari/537.36”
}
url = ‘http://www.dxy.cn/bbs/thread/626626’
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request).read().decode(“utf-8”)
html = bs(response, ‘lxml’)
getItem(html)
def getItem(html):
datas = []
for data in html.find_all(“tbody”):
try:
userid = data.find(“div”, class_=“auth”).text
print(userid)
content = data.find(“td”, class_=“postbody”).text
print(content)
datas.append((userid,content))
except:
pass
print(datas)